一块儿走进动物园管理员——ZooKeeper

时间 2021-01-30

标签 html java node 算法数据库 apache 数组 bash 服务器 session 栏目 Zookeeper 繁體版

原文原文链接

1、ZooKeeper简介

1. ZooKeeper是什么

Apache ZooKeeper是一个开源的分布式服务框架，为分布式应用提供协调服务，用来解决分布式应用中的数据管理问题，如：配置管理、域名服务、分布式同步、集群管理等
官网 https://zookeeper.apache.org/
ZooKeeper视频教程 http://edu.51cto.com/course/16190.htmlhtml

2. ZooKeeper组成

主要包括两部分：文件系统、通知机制java

2.1 文件系统

ZooKeeper维护一个相似Linux文件系统的数据结构，用于存储数据node

数据模型结构是一种树形结构，由许多节点构成
每一个节点叫作ZNode（ZooKeeper Node）
每一个节点对应一个惟一路径，经过该路径来标识节点，如 /app1/p_2
每一个节点只能存储大约1M的数据

节点类型有四种：算法

持久化目录节点 persistent数据库

客户端与服务器断开链接，该节点仍然存在apache
持久化顺序编号目录节点 persistent_sequential数组

客户端与服务器断开链接，该节点仍然存在，此时节点会被顺序编号，如：00000一、000002.....bash
临时目录节点 ephemeral服务器

客户端与服务器断开链接，该节点会被删除session
临时顺序编号目录节点 ephemeral_sequential

客户端与服务器断开链接，该节点会被删除，此时节点会被顺序编号，如：00000一、000002.....

2.2 通知机制

ZooKeeper是一个基于观察者模式设计的分布式服务管理框架

ZooKeeper负责管理和维护项目的公共数据，并授受观察者的注册（订阅）
一旦这些数据发生变化，ZooKeeper就会通知已注册的观察者
此时观察者就能够作出相应的反应

简单来讲，客户端注册监听它关心的目录节点，当目录节点发生变化时，ZooKeeper会通知客户端

ZooKeeper是一个订阅中心（注册中心）

3. 应用场景

3.1 配置管理

场景：集群环境、服务器的许多配置都是相同的，如：数据库链接信息，当须要修改这些配置时必须同时修改每台服务器，很麻烦

解决：把这些配置所有放到ZooKeeper上，保存在ZooKeeper的某个目录节点中，而后全部的应用程序（客户端）对这个目录节点进行监视Watch，一旦配置信息发生变化，ZooKeeper会通知每一个客户端，而后从ZooKeeper获取新的配置信息，并应用到系统中。

3.2 集群管理

场景：集群环境下，如何知道有多少台机器在工做？是否有机器退出或加入？须要选举一个总管master，让总管来管理集群

解决：在父目录GroupMembers下为全部机器建立临时目录节点，而后监听父目录节点的子节点变化，一旦有机器挂掉，该机器与ZooKeeper的链接断开，其所建立的临时目录节点被删除，全部其余机器都会收到通知。当有新机器加入时也是一样的道理。

选举master：为全部机器建立临时顺序编号目录节点，给每台机器编号，而后每次选取编号最小的机器做为master

3.3 负载均衡

ZooKeeper自己是不提供负载均衡策略的，须要本身实现，因此准确的说，是在负载均衡中使用ZooKeeper来作集群的协调（也称为软负载均衡）

实现思路：

将ZooKeeper做为服务的注册中心，全部服务器在启动时向注册中心登录本身可以提供的服务
服务的调用者到注册中心获取可以提供所须要服务的服务器列表，而后本身根据负载均衡算法，从中选取一台服务器进行链接
当服务器列表发生变化时，如：某台服务器宕机下线，或新机器加入，ZooKeeper会自动通知调用者从新获取服务列表

实际上利用了ZooKeeper的特性，将ZooKeeper用为服务的注册和变动通知中心

2、ZooKeeper安装

1. 安装

ZooKeeper通常都运行在Linux平台

步骤：

解压zookeeper-3.4.13.tar.gz

cd ~/software
tar -zxf zookeeper-3.4.13.tar.gz

配置

# 建立存放数据文件的目录
cd zookeeper-3.4.13/
mkdir data
# 建立配置文件
cd conf
cp zoo_sample.cfg zoo.cfg  # 默认使用的是zoo.cfg，名称固定
# 修改配置文件
vi zoo.cfg
dataDir=../data  # 指定数据存放目录

启动zookeeper

cd bin
./zkServer.sh start | stop | status | restart  # 启动|中止|查看状态|重启

客户端链接zookeeper

./zkCli.sh  # 启动客户端，默认链接本机的2181端口
或
./zkCli.sh -server 服务器地址：端口 # 链接指定主机、指定端口的zookeeper
quit  # 退出客户端

2. 配置文件

配置项	含义	说明
tickTime=2000	心跳时间	维持心跳的时间间隔，单位是毫秒<br>在zookeeper中全部的时间都是以这个时间为基础单元，进行整数倍配置
initLimit=10	初始通讯时限	用于zookeeper集群，此时有多台zookeeper服务器，其中一个为Leader，其余都为Follower
syncLimit=5	同步通讯时限	在运行时Leader经过心跳检测与Follower进行通讯，若是超过syncLimit*tickTime时间还未收到响应，则认为该Follower已经宕机
dataDir=../data	存储数据的目录	数据文件也称为snapshot快照文件
clientPort=2181	端口号	默认为2181
maxClientCnxns=60	单个客户端的最大链接数限制	默认为60，能够设置为0，表示没有限制
autopurge.snapRetainCount=3	保留文件的数量	默认3个
autopurge.purgeInterval=1	自动清理快照文件和事务日志的频率	默认为0，表示不开启自动清理，单位是小时
dataLogDir=	存储日志的目录	未指定时日志文件也存放在dataDir中，为了性能最大化，通常建议把dataDir和dataLogDir分别放到不一样的磁盘上

3、客户端操做

1. 经常使用命令

命令	做用	说明
help	查看帮助	查看全部操做命令
ls 节点路径	查看指定节点下的内容
ls2 节点路径	查看指定节点的详细信息	查看全部子节点和当前节点的状态
create 节点路径内容	建立普通节点	若是内容中有空格，则须要使用对双引号引发来
get 节点路径	获取节点中的值
create -e 节点路径内容	建立临时节点	当链接断开后，节点会被自动删除
create -s 节点路径内容	建立顺序编号节点	即带序号的节点
delete 节点路径	删除节点	只能删除空节点，即不能有子节点
rmr 节点路径	递归删除节点	remove recursion
stat 节点路径	查看节点状态
set 节点路径新值	修改节点内容

2. 详解

查看指定节点的详细信息： ls2 /

# 子节点名称数组
[zookeeper]

# -----------节点的状态信息，也称为stat结构体-------------------
# 建立该znode的事务的zxid(ZooKeeper Transaction ID)
# 事务ID是ZooKeeper为每次更新操做/事务操做分配一个全局惟一的id，表示zxid，值越小，表示越先执行
cZxid = 0x0  # 0x0表示十六进制数0
# 建立时间
ctime = Thu Jan 01 08:00:00 CST 1970
# 最后一次更新的zxid
mZxid = 0x0
# 最后一次更新的时间
mtime = Thu Jan 01 08:00:00 CST 1970
# 最后更新的子节点的zxid
pZxid = 0x0
# 子节点的变化号，表示子节点被修改的次数，-1表示从未被修改过
cversion = -1
# 当前节点的变化号，0表示从未被修改过
dataVersion = 0
# 访问控制列表的变化号 access control list
aclVersion = 0
# 若是临时节点，表示当前节点的拥有者的sessionId
# 若是不是临时节点，则值为0
ephemeralOwner = 0x0
# 数据长度
dataLength = 0
# 子节点数据
numChildren = 1

顺序编号节点：

顺序编号会紧跟在节点名称后面，节点最终名称为：节点名+序号，如/test0000000005
顺序编号是一个递增的计数器
顺序编号是由父节点维护，从已有的子节点个数开始（包括临时节点和被删除的节点）
若是子节点为空，则从0000000000开始，依次递增1
在分布式系统中，顺序编号能够被用于为全部的事件进行全局排序，这样客户端就能够根据序号推断事件的顺序

4、ZooKeeper集群

1. 配置集群

步骤：

准备多台ZooKeeper服务器
配置ZooKeeper服务器

在每台服务器的conf/zoo.cfg文件中添加以下内容：
```
server.20=192.168.4.20:2888:3888
server.21=192.168.4.21:2888:3888
server.22=192.168.4.22:2888:3888
```
格式：server.A=B:C:D
- A表示这台服务器的编号ID，是一个数字
- B表示服务器的IP地址或域名
- C表示这台服务器与集群中的Leader交换信息时使用的端口
- D表示执行选举Leader服务器时互相通讯的端口
建立myid配置文件

在集群环境下，须要在dataDir目录中建立一个名为myid的文件，文件内容是当前服务器的编号ID，即上面配置的A
```
cd data
echo A的值 > myid
```
ZooKeeper启动时会读取这个文件，将里面的数字与zoo.cfg中配置的server.A进行比较，从而判断这台服务器是哪一个
测试集群环境

启动全部ZooKeeper服务器，查看状态

此时在某台服务器上执行更新操做时，其余服务器也会同步

2. 集群特性

一个ZooKeeper集群中，有一个领导者Leader和多个跟随者Follower
Leader负责进行投票的发起和决议，更新系统状态
Follower用于接收客户端的请求并向客户端返回结果，在选举Leader过程当中参与投票
半数机制：集群中只要有半数以上节点存活，集群就可以正常工做，因此通常集群中的服务器个数都为奇数
全局数据一致：集群中每台服务器保存一份相同的数据副本，不论客户端链接到哪一个服务器，数据都是一致的
更新请求顺序执行：来自同一个客户端的更新请求，按其发送顺序依次执行
数据更新的原子性：一次数据更新，要么成功，要么失败
实时性：在必定的时间范围内，客户端能读取到最新数据

3. 选举机制

ZooKeeper在提供服务时会自动选举一个节点服务器做为Leader，其余都是Follower

选举流程：

Server1启动，给本身投票，而后发送投票信息，因为其它服务器都还没启动，因此它发现的消息收不到任何反馈，此时Server1为Looking状态
Server2启动，给本身投票，同时与Server1通讯交换选举结果，因为Server2的id值较大，因此Server2胜出，但因为投票数没有过半，此时Server1和Server2都为Looking状态
Server3启动，给本身投票，同时与Server1和Server2通讯交换选举结果，因为Server3的id值较大，因此Server3胜出，此时票数已通过半，因此Server3为Leader，Server1和Server2为Follower
Server4启动，给本身投票，同时与Server一、Server二、Server3通讯交换选举结果，尽管Server4的id较大，但因为集群中已经存在Leader，因此Server4只能为Follower
Server5启动，同Server4相似，只能为Follower

总结：

每一个服务器在启动时都会选择本身，而后将投票信息发送出去
服务器编号ID越大，在选择算法中的权重越大
投票数必须过半，才能选出Leader
谁是Leader：启动顺序的前集群数/2+1个服务器中，id值最大的会成为Leader

4. 监听机制

4.1 监听节点值的变化

# 在集群的A服务器，监听某个节点值的变化
get /yyy watch

# 在集群的B服务器，修改对应节点的值
set /yyy myyyy

# 此时A服务器会收到事件NodeDataChanged
WATCHER::
WatchedEvent state:SyncConnected type:NodeDataChanged path:/yyy

监听Watch事件是一个一次性的触发器，当数据改变时只会触发一次，若是之后这个数据再发生改变，则不会再次触发

4.2 监听节点的子节点变化

# 在集群的A服务器，监听某个节点的子节点的变化 
ls /yyy watch

# 在集群的B服务器，建立/修改/删除对应节点的子节点
create /yyy/hello hello

# 此时A服务器会收到事件NodeChildrenChanged
WATCHER::
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/yyy

5、Java访问ZooKeeper

Java操做Zookeeper很简单，只须要添加ZooKeeper客户端的依赖便可，能够进行节点信息的获取、管理等。

步骤：

添加jar包

<!--ZooKeeper客户端-->
<dependency>
   <groupId>org.apache.zookeeper</groupId>
   <artifactId>zookeeper</artifactId>
   <version>3.4.13</version>
</dependency>

操做

public static void main(String[] args) throws IOException, KeeperException, InterruptedException {
   //获取ZooKeeper的链接，即建立ZooKeeper的客户端
   String connectString = "127.0.0.1:2181";  //服务器地址
   int sessionTimeout = 3000; //超时时间，单位为毫秒
   Watcher watcher = new MyWatcher();
   ZooKeeper zkClient = new ZooKeeper(connectString, sessionTimeout, watcher);

   Thread.sleep(2000);
   System.out.println(zkClient.getState());

   /**
        * 操做ZooKeeper
        */
   //查看指定节点下的内容
   List<String> children = zkClient.getChildren("/", true);//第二个参数表示是否监视该节点
   System.out.println(children);

   //建立节点，OPEN_ACL_UNSAFE表示acl权限列表为彻底开放，PERSISTENT表示节点类型为持久化节点
   zkClient.create("/world", "世界".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);

   //获取节点的数据（节点的值和节点状态Stat）
   byte[] data = zkClient.getData("/world", true, null);
   System.out.println(new String(data));

   Stat stat = new Stat();
   byte[] data = zkClient.getData("/hello", true, stat);
   byte[] data = zkClient.getData("/hello", new DataWatcher(), stat);
   System.out.println(new String(data));
   System.out.println(stat);
   System.out.println(stat.getCtime());
   System.out.println(stat.getVersion());
   System.out.println(stat.getDataLength());

   //修改节点的数据
   // zkClient.setData("/hello","aaa".getBytes(),stat.getVersion()); //第三个参数表示当前节点的数据版本，通常先获取数据stat，而后指定数据版本
   zkClient.setData("/hello", "bbb".getBytes(), -1);  //也能够设置为-1，表示不检测版本

   //删除节点
   zkClient.delete("/hello", -1);

   //判断节点是否存在
   System.out.println(zkClient.exists("/hello",false));  //存在时返回节点状态，不存在则返回null

   //休眠
   Thread.sleep(1000000);

   //关闭链接
   zkClient.close();
}

ZooKeeper快速入门视频，连接：http://edu.51cto.com/course/16190.html