[大数据]Zookeeper基本概念及部署操作

1. Zookeeper简介

zookeeper的基本概念

Zookeeper是?个开源的分布式协调服务，其设计?标是将那些复杂的且容易出错的分布式?致性服务封装起来，构成?个?效可靠的原语集，并以?些简单的接?提供给?户使?。zookeeper是?个典型的分布式数据?致性的解决?案，分布式应?程序可以基于它实现诸如数据订阅/发布、负载均衡、命名服务、集群管理、分布式锁和分布式队列等功能

1. 集群??
   在Zookeeper中引?了Leader、Follower、Observer三种??。Zookeeper集群中的所有机器通过Leader选举来选定?台被称为Leader的机器，Leader服务器为客户端提供读和写服务，除Leader外，其他机器包括Follower和Observer,Follower和Observer都能提供读服务，唯?的区别在于Observer不参与Leader选举过程，不参与写操作的过半写成功策略，因此Observer可以在不影响写性能的情况下提升集群的性能。
2. 会话（session）
   Session指客户端会话，?个客户端连接是指客户端和服务端之间的?个TCP?连接，Zookeeper对外的服务端?默认为2181，客户端启动的时候，?先会与服务器建??个TCP连接，从第?次连接建?开始，客户端会话的?命周期也开始了，通过这个连接，客户端能够?跳检测与服务器保持有效的会话，也能够向Zookeeper服务器发送请求并接受响应，同时还能够通过该连接接受来?服务器的Watch事件
   通知
3. 数据节点（Znode）
   在谈到分布式的时候，我们通常说的“节点”是指组成集群的每?台机器。然?，在ZooKeeper中，“节 点”分为两类，第?类同样是指构成集群的机器，我们称之为机器节点；第?类则是指数据模型中的数据单元，我们称之为数据节点——ZNode。ZooKeeper将所有数据存储在内存中，数据模型是?棵树（ZNode Tree），由斜杠（/）进?分割的路径，就是?个Znode，例如/app/path1。每个ZNode上都会保存??的数据内容，同时还会保存?系列属性信息。
4. 版本
   Zookeeper的每个Znode上都会存储数据，对于每个ZNode，Zookeeper都会为其维护?个叫作Stat的数据结构，Stat记录了这个ZNode的三个数据版本，分别是version（当前ZNode的版本）、cversion（当前ZNode?节点的版本）、aversion（当前ZNode的ACL版本）
5. Watcher（事件监听器）
   Wathcer（事件监听器），是Zookeeper中?个很重要的特性，Zookeeper允许?户在指定节点上注册?些Watcher，并且在?些特定事件触发的时候，Zookeeper服务端会将事件通知到感兴趣的客户端，该机制是Zookeeper实现分布式协调服务的重要特性
6. ACL
   Zookeeper采?ACL（Access Control Lists）策略来进?权限控制，其定义了如下五种权限：
   　　　　· CREATE：创建?节点的权限。
   　　　　· READ：获取节点数据和?节点列表的权限。
   　　　　· WRITE：更新节点数据的权限。
   　　　　· DELETE：删除?节点的权限。
   　　　　· ADMIN：设置节点ACL的权限。

2. Zookeeper环境搭建

2.1 Zookeeper的搭建?式

Zookeeper安装?式有三种，单机模式和集群模式以及伪集群模式。

• 单机模式：Zookeeper只运?在?台服务器上，适合测试环境；
• 集群模式：Zookeeper运?于?个集群上，适合?产环境，这个计算机集群被称为?个“集合体”
• 伪集群模式：就是在?台服务器上运?多个Zookeeper 实例；

单机模式搭建：
zookeeper安装以linux环境为例:
1、下载
?先我们下载稳定版本的zookeeper
zookeeper下载地址
2、上传
下载完成后，将zookeeper压缩包zookeeper-3.4.14.tar.gz上传到linux系统
3、解压缩压缩包

tar -zxvf zookeeper-3.4.14.tar.gz

4、进? zookeeper-3.4.14 ?录，创建 data ?件夹

cd zookeeper-3.4.14
mkdir data

5、修改配置?件名称

cd conf
mv zoo_sample.cfg zoo.cfg

修改zoo.cfg中的data属性

dataDir=/root/zookeeper-3.4.14/data

6、zookeeper服务启动/关闭

./zkServer.sh start
./zkServer.sh stop

查看状态

./zkServer.sh status

伪集群模式：

创建?录zkcluster

mkdir zkcluster

解压 zookeeper-3.4.14.tar.gz到zkcluster?录下

tar -zxvf zookeeper-3.4.14.tar.gz -C /zkcluster

改变名称

mv zookeeper-3.4.14 zookeeper01
cp -r zookeeper01/ zookeeper02
cp -r zookeeper01/ zookeeper03

分别在zookeeper01、zookeeper02、zookeeper03?录下创建data及logs?录

mkdir data
cd data
mkdir logs

修改配置?件名称

cd conf
mv zoo_sample.cfg zoo.cfg

配置每?个Zookeeper 的dataDir（zoo.cfg） clientPort 分别为2181 2182 2183

clientPort=2181
dataDir=/zkcluster/zookeeper01/data
dataLogDir=/zkcluster/zookeeper01/data/logs

配置集群

1. 在每个zookeeper的 data ?录下创建?个 myid ?件，内容分别是1、2、3 。这个?件就是记录每个服务器的ID

touch myid

2. 在每?个zookeeper 的 zoo.cfg配置客户端访问端?（clientPort）和集群服务器IP列表。

#server.服务器ID=服务器IP：服务器之间通信端?：服务器之间投票选举端?
server.1=10.211.55.4:2881:3881
server.2=10.211.55.4:2882:3882
server.3=10.211.55.4:2883:3883

启动集群
依次启动三个zk实例

3. Zookeeper基本使?

3.1 ZooKeeper系统模型

ZooKeeper数据模型Znode
在ZooKeeper中，数据信息被保存在?个个数据节点上，这些节点被称为znode。ZNode 是 Zookeeper 中最?数据单位，在 ZNode 下??可以再挂 ZNode，这样?层层下去就形成了?个层次化命名空间 ZNode 树，我们称为 ZNode Tree，它采?了类似?件系统的层级树状结构进?管理。?下图示例：

在 Zookeeper 中，每?个数据节点都是?个 ZNode，上图根?录下有两个节点，分别是：app1 和 app2，其中 app1 下??有三个?节点,所有ZNode按层次化进?组织，形成这么?颗树，ZNode的节点路径标识?式和Unix?件系统路径?常相似，都是由?系列使?斜杠（/）进?分割的路径表示，开发?员可以向这个节点写?数据，也可以在这个节点下?创建?节点。

ZNode 的类型
Zookeeper 节点类型可以分为三?类：

• 持久性节点（Persistent）
• 临时性节点（Ephemeral）
• 顺序性节点（Sequential）

在开发中在创建节点的时候通过组合可以?成以下四种节点类型：持久节点、持久顺序节点、临时节点、临时顺序节点。不同类型的节点则会有不同的?命周期。
持久节点：是Zookeeper中最常?的?种节点类型，所谓持久节点，就是指节点被创建后会?直存在服务器，直到删除操作主动清除
持久顺序节点：就是有顺序的持久节点，节点特性和持久节点是?样的，只是额外特性表现在顺序上。顺序特性实质是在创建节点的时候，会在节点名后?加上?个数字后缀，来表示其顺序。
临时节点：就是会被?动清理掉的节点，它的?命周期和客户端会话绑在?起，客户端会话结束，节点会被删除掉。与持久性节点不同的是，临时节点不能创建?节点。
临时顺序节点：就是有顺序的临时节点，和持久顺序节点相同，在其创建的时候会在名字后?加上数字后缀。

事务ID

事务是对物理和抽象的应?状态上的操作集合。往往在现在的概念中，?义上的事务通常指的是数据库事务，?般包含了?系列对数据库有序的读写操作，这些数据库事务具有所谓的ACID特性，即原?性（Atomic）、?致性（Consistency）、隔离性（Isolation）和持久性（Durability）。
?在ZooKeeper中，事务是指能够改变ZooKeeper服务器状态的操作，我们也称之为事务操作或更新操作，?般包括数据节点创建与删除、数据节点内容更新等操作。对于每?个事务请求，ZooKeeper都会为其分配?个全局唯?的事务ID，? ZXID 来表示，通常是?个 64 位的数字。每?个 ZXID 对应?次更新操作，从这些ZXID中可以间接地识别出ZooKeeper处理这些更新操作请求的全局顺序

ZNode 的状态信息

cZxid 就是 Create ZXID，表示节点被创建时的事务ID。
ctime 就是 Create Time，表示节点创建时间。
mZxid 就是 Modified ZXID，表示节点最后?次被修改时的事务ID。
mtime 就是 Modified Time，表示节点最后?次被修改的时间。
pZxid 表示该节点的?节点列表最后?次被修改时的事务 ID。只有?节点列表变更才会更新 pZxid，
?节点内容变更不会更新。
cversion 表示?节点的版本号。
dataVersion 表示内容版本号。
aclVersion 标识acl版本
ephemeralOwner 表示创建该临时节点时的会话 sessionID，如果是持久性节点那么值为 0
dataLength 表示数据?度。
numChildren 表示直系?节点数

Watcher–数据变更通知
Zookeeper使?Watcher机制实现分布式数据的发布/订阅功能

Zookeeper的Watcher机制主要包括客户端线程、客户端WatcherManager、Zookeeper服务器三部分。
具体?作流程为：客户端在向Zookeeper服务器注册的同时，会将Watcher对象存储在客户端的WatcherManager当中。当Zookeeper服务器触发Watcher事件后，会向客户端发送通知，客户端线程从WatcherManager中取出对应的Watcher对象来执?回调逻辑。

ACL–保障数据的安全

我们可以从三个??来理解ACL机制：权限模式（Scheme）、授权对象（ID）、权限（Permission），通常使?"scheme: id : permission"来标识?个有效的ACL信息。

权限模式：Scheme
权限模式?来确定权限验证过程中使?的检验策略，有如下四种模式：

1. ip
   IP模式就是通过IP地址粒度来进?权限控制，如"ip:192.168.0.110"表示权限控制针对该IP地址，同时IP模式可以?持按照?段?式进?配置，如"ip:192.168.0.1/24"表示针对192.168.0.*这个?段进?权限控制。
2. Digest
   Digest是最常?的权限控制模式，要更符合我们对权限控制的认识，其使?"username:password"形式的权限标识来进?权限配置，便于区分不同应?来进?权限控制。当我们通过“username:password”形式配置了权限标识后，Zookeeper会先后对其进?SHA-1加密和BASE64编码。
3. World
   World是?种最开放的权限控制模式，这种权限控制?式?乎没有任何作?，数据节点的访问权限对所有?户开放，即所有?户都可以在不进?任何权限校验的情况下操作ZooKeeper上的数据。另外，World模式也可以看作是?种特殊的Digest模式，它只有?个权限标识，即“world：anyone”。
4. Super
   Super模式，顾名思义就是超级?户的意思，也是?种特殊的Digest模式。在Super模式下，超级?户可以对任意ZooKeeper上的数据节点进?任何操作。