IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> ZooKeeper集群部署 -> 正文阅读

[大数据]ZooKeeper集群部署

ZooKeeper集群部署

安装

rz上传hadoop到hadoop102服务器上

[hadoop@hadoop102 software]$ ls
hadoop-3.1.3.tar.gz  jdk-8u212-linux-x64.tar.gz  zookeeper-3.4.5-cdh5.12.1.tar.gz
[hadoop@hadoop102 software]$   tar -zxvf zookeeper-3.4.5-cdh5.12.1.tar.gz -C /opt/module/

配置服务器编号

(1)在/opt/module/zookeeper-3.4.5-cdh5.12.1/这个目录下创建zkData

[hadoop@hadoop102 zookeeper-3.4.5-cdh5.12.1]$ mkdir -p zkData

(2)在/opt/module/zookeeper-3.4.5-cdh5.12.1/zkData目录下创建一个myid的文件

[hadoop@hadoop102 zkData]$ touch myid

? 添加myid文件,注意一定要在linux里面创建,在notepad++里面很可能乱码

(3)编辑myid文件

[hadoop@hadoop102 zkData]$ vi myid

? 在文件中添加与server对应的编号:

? 2

(4)拷贝配置好的zookeeper到其他机器上

[hadoop@hadoop102 zkData]$ xsync /opt/module/zookeeper-3.4.5-cdh5.12.1

? 并分别在hadoop103、hadoop104上修改myid文件中内容为3、4

配置zoo.cfg

(1)重命名/opt/module/zookeeper-3.5.7/conf这个目录下的zoo_sample.cfg为zoo.cfg

[hadoop@hadoop102 conf]$ cp zoo_sample.cfg zoo.cfg

(2)打开zoo.cfg文件

[hadoop@hadoop102 conf]$ vi zoo.cfg

修改数据存储路径配置

dataDir=/opt/module/zookeeper-3.4.5-cdh5.12.1/zkData

增加如下配置

#######################cluster##########################

server.2=hadoop102:2888:3888

server.3=hadoop103:2888:3888

server.4=hadoop104:2888:3888

(3)同步zoo.cfg配置文件

[hadoop@hadoop102 conf]$ xsync zoo.cfg

(4)配置参数解读

server.A=B:C:D。

****A****是一个数字,表示这个是第几号服务器;

集群模式下配置一个文件myid,这个文件在dataDir目录下,这个文件里面有一个数据就是A的值,Zookeeper启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。

****B****是这个服务器的地址;

****C****是这个服务器Follower与集群中的Leader服务器交换信息的端口;

****D****是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。

分布式配置

在zkData目录下创建一个myid文件

? touch /opt/module/apache-zookeeper-3.5.6-bin/zkData/myid

编辑myid文件,添加zk编号

? vim /opt/module/apache-zookeeper-3.5.6-bin/zkData/myid

修改zoo.cfg

#################cluster####################
server.112=hadoop112:2888:3888
server.113=hadoop113:2888:3888
server.114=hadoop114:2888:3888

分发zoo.cfg

? xsync /opt/module/apache-zookeeper-3.5.6-bin/conf/zoo.cfg

集群启动

分别启动Zookeeper

[hadoop@hadoop102 zookeeper-3.4.5-cdh5.12.1]$ bin/zkServer.sh start

[hadoop@hadoop103 zookeeper-3.4.5-cdh5.12.1]$ bin/zkServer.sh start

[hadoop@hadoop104 zookeeper-3.4.5-cdh5.12.1]$ bin/zkServer.sh start

查看状态

[hadoop@hadoop102 zookeeper-3.4.5-cdh5.12.1]$ bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.5-cdh5.12.1/bin/../conf/zoo.cfg
Mode: follower


[hadoop@hadoop103 zookeeper-3.4.5-cdh5.12.1]$ bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.5-cdh5.12.1/bin/../conf/zoo.cfg
Mode: leader


[hadoop@hadoop104 zookeeper-3.4.5-cdh5.12.1]$ bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.5-cdh5.12.1/bin/../conf/zoo.cfg
Mode: follower


集群启动脚本

#!/bin/bash

if [ $# -lt 1 ]
then
        echo "No Args Input..."
        exit;
fi

case $1 in
"start")
        echo " =================== 启动 Zookeeper 集群 ==================="
        ssh hadoop102 "/opt/module/zookeeper-3.4.5-cdh5.12.1/bin/zkServer.sh start"
        ssh hadoop103 "/opt/module/zookeeper-3.4.5-cdh5.12.1/bin/zkServer.sh start"
        ssh hadoop104 "/opt/module/zookeeper-3.4.5-cdh5.12.1/bin/zkServer.sh start"
;;
"stop")
        echo " =================== 关闭 Zookeeper 集群 ==================="
        ssh hadoop102 "/opt/module/zookeeper-3.4.5-cdh5.12.1/bin/zkServer.sh stop"
        ssh hadoop103 "/opt/module/zookeeper-3.4.5-cdh5.12.1/bin/zkServer.sh stop"
        ssh hadoop104 "/opt/module/zookeeper-3.4.5-cdh5.12.1/bin/zkServer.sh stop"
;;
"status")
        echo " =================== Zookeeper 集群状态 ==================="
        ssh hadoop102 "/opt/module/zookeeper-3.4.5-cdh5.12.1/bin/zkServer.sh status"
        ssh hadoop103 "/opt/module/zookeeper-3.4.5-cdh5.12.1/bin/zkServer.sh status"
        ssh hadoop104 "/opt/module/zookeeper-3.4.5-cdh5.12.1/bin/zkServer.sh status"
;;
*)
        echo "Input Args Error..."
;;
esac

? 操作如下:

[hadoop@hadoop102 bin]$ vi myzk.sh
##这里将上面的脚本复制进去

[hadoop@hadoop102 bin]$ chmod +x myzk.sh 

[hadoop@hadoop102 bin]$ myzk.sh status
 =================== Zookeeper 集群状态 ===================
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.5-cdh5.12.1/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.5-cdh5.12.1/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.5-cdh5.12.1/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.
[hadoop@hadoop102 bin]$ myzk.sh start
 =================== 启动 Zookeeper 集群 ===================
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.5-cdh5.12.1/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.5-cdh5.12.1/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.5-cdh5.12.1/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@hadoop102 bin]$ myzk.sh status
 =================== Zookeeper 集群状态 ===================
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.5-cdh5.12.1/bin/../conf/zoo.cfg
Mode: follower
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.5-cdh5.12.1/bin/../conf/zoo.cfg
Mode: leader
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.5-cdh5.12.1/bin/../conf/zoo.cfg
Mode: follower
  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-08-21 15:32:29  更:2021-08-21 15:33:17 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 12:50:24-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码