安装配置ZooKeeper及基本用法

要想学习分布式应用，ZooKeeper是一个绕不过去的基础系统。它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。

今天先介绍系统的安装和基本使用，后续会推一些基本的Java使用代码。

1 安装配置ZooKeeper

https://www.apache.org/dyn/closer.cgi/zookeeper/，下载最新的ZooKeeper程序，当前最新版本是3.5.5，要求JDK在1.8以上。

1.1      基本安装

将下载的apache-zookeeper-3.5.5-bin.tar.gz文件使用命令tar -xzvf 解压到 /usr/java 目录，并将原目录名修改成zookeeper-3.5.5。

进入zookeeper-3.5.5目录并建立两个子目录 data 和logs。

# mkdir data logs # echo 建立一个惟一的zookeeper实例号，我是用IP最后一个字节 # cd data # vim myid  // 输入 128 后保存退出   128 # echo 复制 zoo_sample.cfg 为 zoo.cfg # cp zoo_sample.cfg zoo.cfg # 修改参数 dataDir # vim zoo.cfg dataDir=/var/lib/zookeeper

而后修改 /etc/profile，增长修改相应的环境变量

# vim /etc/profile export PGDATA=/usr/java/postgres/data ZOOKEEPER_HOME=/usr/java/zookeeper-3.5.5 PATH=$ZOOKEEPER_HOME/bin:$PATH export ZOOKEEPER_HOME PATH # zkServer.sh start  //启动服务 # zkServer.sh status //查看服务状态 # zkServer.sh stop  //中止服务

Zookeeper使用的默认端口是2181，能够在conf/zoo.cfg中修改这个端口号。安装完成后，须要在防火墙开启端口

# firewall-cmd --zone=public --add-port=2181/tcp –permanent # firewall-cmd –reload

1.2      ZooKeeper安装为服务

建立自动启动的脚本

# cd /etc/rc.d/init.d # touch zookeeper # chmod +x zookeeper # vim zookeeper #!/bin/bash #chkconfig:2345 10 90 #description:service zookeeper   #set java environment JAVA_HOME=/usr/java/jdk8u222-b10 JRE_HOME=/usr/java/jdk8u222-b10/jre CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin export JAVA_HOME JRE_HOME CLASS_PATH PATH   export PGDATA=/usr/java/postgres/data ZOOKEEPER_HOME=/usr/java/zookeeper-3.5.5 PATH=$ZOOKEEPER_HOME/bin:$PATH   export PATH ZOOKEEPER_HOME   su root ${ZOOKEEPER_HOME}/bin/zkServer.sh "$1"   // 添加到启动脚本 # chkconfig --add zookeeper   // 手工启动 # service start zookeeper

 

1.3      控制台使用zookeeper

命令行链接到zookeeper

# zhCli.sh -server 127.0.0.1:2181

 

尝试输入help查看可用的命令，列出了命令，发现其实没有help命令。

 

输入ls，查看根目录下有哪些节点

 

尝试建立一个新的节点，并设置一个字符串，而后使用命令get查看已经建立的节点。

 

尝试为/hello从新赋值

 

赋值命令执行后，控制台收到了一条通知事件：/hello值已经被修改。从新查看这个值，发现它的版本(dataVersion)已经从0变为1。

再执行删除命令，删掉这个节点

 

1.4      Windows客户端程序

在Windows上，能够安装zkui这个ZooKeeper的客户端，下载网址：https://github.com/echoma/zkui/wiki/Download 。

下载解压后，直接运行 zkui.exe，弹出来链接页面。

 

在Host部分输入ZooKeeper的地址和端口，点击Login按钮后，左边窗口列出Root下的全部zNode。使用比较简单，本身摸索几分钟就都会了。

 

1.5      ZooKeeper复制模式

在评估、开发、测试环境，使用一台ZooKeeper就能够了，但在生产环境应该配置为多点复制模式。同一个应用多台服务器复制部署的状况，术语叫 quorum，全部的服务器使用相同的配置文件。

复制模式部署，最少须要三台服务器，而且服务器的总数最好是奇数。复制模式部署，配置文件 conf/zoo.cfg同单点模式差很少，有一些不一样，如：

dataDir=/var/lib/zookeeper clientPort=2181 tickTime=2000 initLimit=5 syncLimit=2 server.128=zoo1:2888:3888 server.129=zoo2:2888:3888 server.130=zoo3:2888:3888

在配置文件中，initLimit是集群中ZooKeeper Server链接到leader的超时时间；syncLimit是服务器的超时时间。这两个参数，使用的时间单位都是tickTime，initLimit值为5，最终表明的是10秒；syncLimit值为2，最终表明的是4秒。

列表server.X构成了整个ZooKeeper服务，当服务启动的时候，会读取data/myid文件，获取本身的编号。

在server后面有两个端口号："2888"和"3888"。ZooKeeper服务器之间使用这两个端口进行通讯。若是使用同一台机器安装多个ZooKeeper实例搭建集群，每一个实例应该使用不一样的端口，如：2888:3888/2889:3889/2890:3890；另外，每一个实例的dataDir和clientPort也应该不一样。

2 编程使用ZooKeeper

2.1      数据模型

ZooKeeper使用层级命名空间，相似一个分布式文件系统。区别在于目录节点也能够绑定数据，相似于一个文件系统，一个文件同时也是一个目录。ZooKeeper不支持相对路径。Unicode字符均可以出如今名称中，除了下面的一些特例：

• 不能使用null字符(\u0000)
• 下面的字符不能正常显示，也不能使用：\u0001-\u001F和\u007F和\u009F
• 下面的字符不容许：\ud800 - uF8FF, \uFFF0 – uFFFF
• .能够是名称的一部分，但不能独立使用 . 和 ..，下面的名称不合法："/a/b/./c"或"/a/b/../c"
• "zookeeper" 是保留字

2.2      ZNodes

在ZooKeeper树中，每个节点就是一个znode。Znode包括一个stat结构，含数据修改的版本号，以及acl版本号，时间戳。每次一个znode节点的数据发生变化，版本号都会增长。当客户端读取数据时，也会把数据的版本号一并取回去。当客户端尝试修改或删除一个znode时，须要提供尝试修改节点的版本号。若是提供的版本号同系统中当前的版本号不一致，更新失败。（相似于数据库的乐观锁实现）

ZNodes是程序访问的实体，有几个须要了解的特性：

• Watches：客户端能够在znode上设置监听。znode数据发生变化时会触发watch，而后清除watch。当watch触发时，ZooKeeper会向客户端发送一个通知。
• 数据访问：znode上的数据，读写都是原子性的。读，是将整个znode的全部数据都读出来；写，会替换znode的全部数据。每一个znode有访问控制列表（Access Control List-ACL），用于限制谁能够访问。ZooKeeper不是设计用于保存普通数据或大数据存储，通常用于保存配置文件、状态信息等。数据一般比较小，通常以KB为单位。ZooKeeper的客户端也限制数据不能超过1M。若是业务须要保存打数据，能够将数据保存到大的存储系统如NFS/HDFS等，并将其指针保存到ZooKeeper中。
• 临时节点：ZooKeeper能够保存一些短生命周期的节点，好比会话信息，当会话失效时这些节点会被删除。由于这个特性，临时节点不容许有子节点。
• 顺序节点（惟一命名）：建立一个节点时，能够要求ZooKeeper在路径后面添加自增的数字。格式为%010d，是10个数字，如0000000001。最大数值是2147483647，超事后会溢出，变成-2147483648。
• 容器节点(3.5.3增长)：用于一些特定的场景如leader、lock。当容器中的最后一个节点被删除后，容器变成候补(candidate)状态，服务器会择机自行删除。当你在容器节点中建立子节点时，可能会获得KeeperException.NoNodeException；所以建立子节点时应该catch这个异常，若是发生了则从新建立容器节点。
• TTL节点(3.5.3增长)：建立PERSISTENT或PERSISTENT_SEQUENTIAL节点时，能够以毫秒为单位设置TTL时间，若是在TTL时间以内没有修改数据，也没有建立子节点，服务器会在超时后择机删除这个节点。注意：这个参数缺省是关闭的，须要在系统参数中启用。

2.3      ZooKeeper中的时间

经过多种方式跟踪时间

• Zxid：ZooKeeper的每次修改，都会收到zxid格式的时间戳。这表示在ZooKeeper上修改的顺序。若是zxid1<zxid2，说明zxid2后发生。
• 版本号(Version numbers)：一个节点的每次修改，该节点的版本号都会增长。有三个版本号：version (节点数据的修改次数), cversion (子节点数据的修改次数), aversion (节点ACL修改的次数).
• Ticks：使用ZooKeeper复制模式时，服务器使用ticks来定义事件的时间如：上载状态、会话超时时间、服务器之间的链接超时时间等。
• Real time：ZooKeeper不使用真实时间。

2.4      ZooKeeper Stat结构

节点的Stat结构有以下属性

• czxid：节点建立时的zxid
• mzxid：节点最后一次修改时的zxid
• pzxid：子节点最后一次修改时的zxid
• ctime：节点建立时的时间戳，毫秒
• mtime：节点最后一次修改时的时间戳，毫秒
• version：节点数据的修改次数
• cversion：子节点数据的修改次数
• aversion：节点ACL的修改次数
• ephemeralOwner：若是这是临时节点，保存节点拥有者的session id；不然为0
• dataLength：节点数据长度
• numChildren：子节点个数

2.5      ZooKeeper Watches

ZooKeeper的全部读操做getData()、getChildren()和exists()都有一个备选参数：设置watch。ZooKeeper Watch的定义：是一次性的触发器，当数据发生变化时，向设置了watch的客户端发送消息。有三个关键点：

• 一次性触发器：当数据变化时，向客户端发送watch事件。例如：使用命令 getData(“/hello”, true)读取数据，当/hello被修改或删除时，客户端都会收到事件。当数据再次发生变化时，客户端就不会收到事件了。
• 推送到客户端：ZooKeeper设计用于保证客户端可以按照特定的顺序收到推送事件。
• Watch的数据对象：有两种类型的watch，数据watch和子节点watch。getData()和exists()设置数据warch；getChildren()设置子节点watch。

2.6      ZooKeeper访问控制

ZooKeeper使用ACL控制节点的读写权限。父子节点的读写权限是独立的，不递归。

ZooKeeper支持的几种权限：

• CREATE: 能够建立子节点
• READ: 能够读取节点数据并列出子节点
• WRITE: 能够修改节点数据
• DELETE: 能够删除子节点
• ADMIN: 能够设置权限

ZooKeeper内置的受权对象

• world：全部用户
• auth：当前用户
• digest：使用 username:password指定的用户，密码会作MD5摘要
• ip：使用客户端IP地址，格式是 addr/bits
• x509：使用X500认证信息，用户名