IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> zookeeper集群安装详细步骤 -> 正文阅读

[大数据]zookeeper集群安装详细步骤

zookeeper集群安装详细步骤

zookeeper介绍

  • 依赖Java环境,保证linux环境存在jdk1.7及以上版本
  • 本例搭建的是伪集群模式,即一台机器上启动三个zookeeper实例组成集群,真正的集群模式无 非就是实例IP地址不同,搭建方法没有区别,
    真实多ip集群时,方便起见先关闭防火墙,相关命令如下
     systemctl status firewalld.service   
     systemctl stop firewalld.service
     systemctl disable firewalld.service
  • Zookeeper 集群模式一共有三种类型的角色
    • Leader: 处理所有的事务请求(写请求),可以处理读请求,集群中只能有一个Leader Follower:只能处理读请求,同时作为 Leader的候选节点,即如果Leader宕机,
    • Follower节点 要参与到新的Leader选举中,有可能成为新的Leader节点。
    • Observer:只能处理读请求。不能参与选举
      在这里插入图片描述

下载和解压安装包

wget https://mirror.bit.edu.cn/apache/zookeeper/zookeeper‐3.5.8/apache‐zookeeper‐3.7.0‐bin.tar.gz
tar -zxvf  apache‐zookeeper‐3.7.0‐bin.tar.gz

apache‐zookeeper‐3.5.8‐bin.tar.gz都可以, 如果wget 下载不了,自行百度找找其他tar.gz安装包

配置修改

重命名 zoo_sample.cfg文件

cd apache-zookeeper-3.7.0-bin

cp conf/zoo_sample.cfg  conf/zoo1.cfg

修改zoo1.cfg

vim conf/zoo1.cfg    # 如下内容直接粘贴复制到zoo1.cf


# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/usr/local/data/zookeeper1
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

## Metrics Providers
#
# https://prometheus.io Metrics Exporter
#metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
#metricsProvider.httpPort=7000
#metricsProvider.exportJvmInfo=true

server.1=127.0.0.1:2001:3001:participant
server.2=127.0.0.1:2002:3002:participant 
server.3=127.0.0.1:2003:3003:participant 

配置说明

  • tickTime:用于配置Zookeeper中最小时间单位的长度,很多运行时的时间间隔都是 使用tickTime的倍数来表示的。
  • initLimit:该参数用于配置Leader服务器等待Follower启动,并完成数据同步的时 间。Follower服务器再启动过程中,会与Leader建立连接并完成数据的同步,从而确定自 己对外提供服务的起始状态。Leader服务器允许Follower再initLimit 时间内完成这个工 作。
  • syncLimit:Leader 与Follower心跳检测的最大延时时间
  • dataDir:顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将 写数据的日志文件也保存在这个目录里。
  • clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监 听这个端口,接受客户端的访问请求。
  • server.A=B:C:D:E 其中 A 是一个数字,表示这个是第几号服务器;B 是这个服 务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新 的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配 置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给 它们分配不同的端口号。如果需要通过添加不参与集群选举以及事务请求的过半机制的 Observer节点,可以在E的位置,添加observer标识

新建zoo2.cfg和zoo3.cfg

cp conf/zoo1.cfg conf/zoo2.cfg 
cp conf/zoo1.cfg conf/zoo3.cfg

# 每个文件只需修改两处
vim conf/zoo2.cfg 
dataDir=/usr/local/data/zookeeper2 
clientPort=2182

vim conf/zoo3.cfg 
dataDir=/usr/local/data/zookeeper3 
clientPort=2183

标识Server ID

创建三个文件夹/usr/local/data/zookeeper1,/usr/local/data/zookeeper2,/usr/local/data/zookeeper3在每个目录中创建文件 myid 文件,写入当前实例的server id,即1,2,3

cd /usr/local/data/zookeeper1
vim myid 
1

cd /usr/local/data/zookeeper2
vim myid 
2

cd /usr/local/data/zookeeper3
vim myid 
3

启动三个zookeeper实例

bin/zkServer.sh start conf/zoo1.cfg 
bin/zkServer.sh start conf/zoo2.cfg
bin/zkServer.sh start conf/zoo3.cfg

检测集群状态查询每个服务的状态

./bin/zkServer.sh status 可以看到在2182上是leader者,其他都是follower者
jps查看进程信息,三个QuorumPeerMain即为zookeeper的进程

[root@iZ8vb0jkzcfe073zd3cph2Z apache-zookeeper-3.7.0-bin]# 
[root@iZ8vb0jkzcfe073zd3cph2Z apache-zookeeper-3.7.0-bin]# ./bin/zkServer.sh status conf/zoo1.cfg
ZooKeeper JMX enabled by default
Using config: conf/zoo1.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower
[root@iZ8vb0jkzcfe073zd3cph2Z apache-zookeeper-3.7.0-bin]# ./bin/zkServer.sh status conf/zoo2.cfg
ZooKeeper JMX enabled by default
Using config: conf/zoo2.cfg
Client port found: 2182. Client address: localhost. Client SSL: false.
Mode: leader
[root@iZ8vb0jkzcfe073zd3cph2Z apache-zookeeper-3.7.0-bin]# ./bin/zkServer.sh status conf/zoo3.cfg
ZooKeeper JMX enabled by default
Using config: conf/zoo3.cfg
Client port found: 2183. Client address: localhost. Client SSL: false.
Mode: follower
[root@iZ8vb0jkzcfe073zd3cph2Z apache-zookeeper-3.7.0-bin]# 
[root@iZ8vb0jkzcfe073zd3cph2Z apache-zookeeper-3.7.0-bin]# 
[root@iZ8vb0jkzcfe073zd3cph2Z apache-zookeeper-3.7.0-bin]# jps
120403 QuorumPeerMain
127559 Jps
120539 QuorumPeerMain
120462 QuorumPeerMain
[root@iZ8vb0jkzcfe073zd3cph2Z apache-zookeeper-3.7.0-bin]# 

使用netstat -ltnp 可以看到绑定的三个对外暴露的三个端口2181、2182、2183
在这里插入图片描述

客户端链接

  • 使用ZooInspector链接zk服务

  • java -jar 启动ZooInspector
    D:\tools\work\build> java -jar zookeeper-dev-ZooInspector.jar

  • 会出现如下图界面,输入相应ip和端口
    在这里插入图片描述

  • 所有的数据都存储在znode上,如下图,
    dubbo和zookeeper整合及springcloud整合zookeeper 注册在zookeeper的节点数据展示

在这里插入图片描述

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-09-10 23:59:23  更:2021-09-11 00:00:06 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/23 19:58:33-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码