Windows安装和使用zookeeper

以前整理过一篇文章《zookeeper 分布式锁服务》，本文介绍的 Zookeeper 是以 3.4.5 这个稳定版本为基础，最新的版本能够经过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装很是简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的Windows安装和配置.

首先须要安装JdK，从Oracle的Java网站下载，安装很简单，就再也不详述。

单机模式

单机安装很是简单，只要获取到 Zookeeper 的压缩包并解压到某个目录如：C:\zookeeper-3.4.5\下，Zookeeper 的启动脚本在 bin 目录下，Windows 下的启动脚本是 zkServer.cmd。

在你执行启动脚本以前，还有几个基本的配置项须要配置一下，Zookeeper 的配置文件在 conf 目录下，这个目录下有 zoo_sample.cfg 和 log4j.properties，你须要作的就是将 zoo_sample.cfg 更名为 zoo.cfg，由于 Zookeeper 在启动时会找这个文件做为默认配置文件。下面详细介绍一下，这个配置文件中各个配置项的意义。

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=C:\\zookeeper-3.4.5\\data
dataLogDir=C:\\zookeeper-3.4.5\\log
# the port at which the clients will connect
clientPort=2181
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

• tickTime：这个时间是做为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每一个 tickTime 时间就会发送一个心跳。
• dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认状况下，Zookeeper 将写数据的日志文件也保存在这个目录里。
• dataLogDir：顾名思义就是 Zookeeper 保存日志文件的目录
• clientPort：这个端口就是客户端链接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。

当这些配置项配置好后，你如今就能够启动 Zookeeper 了，启动后要检查 Zookeeper 是否已经在服务，能够经过 netstat – ano 命令查看是否有你配置的 clientPort 端口号在监听服务。

集群模式

Zookeeper 不只能够单机提供服务，同时也支持多机组成集群来提供服务。实际上 Zookeeper 还支持另一种伪集群的方式，也就是能够在一台物理机上运行多个 Zookeeper 实例，下面将介绍集群模式的安装和配置。

Zookeeper 的集群模式的安装和配置也不是很复杂，所要作的就是增长几个配置项。集群模式除了上面的三个配置项还要增长下面几个配置项：

initLimit=5 
syncLimit=2 
server.1=192.168.211.1:2888:3888 
server.2=192.168.211.2:2888:3888

• initLimit：这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户链接 Zookeeper 服务器的客户端，而是 Zookeeper 服务器集群中链接到 Leader 的 Follower 服务器）初始化链接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器尚未收到客户端的返回信息，那么代表这个客户端链接失败。总的时间长度就是 5*2000=10 秒
• syncLimit：这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 2*2000=4 秒
• server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，须要一个端口来从新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通讯的端口。若是是伪集群的配置方式，因为 B 都是同样，因此不一样的 Zookeeper 实例通讯端口号不能同样，因此要给它们分配不一样的端口号。
• 除了修改 zoo.cfg 配置文件，集群模式下还要配置一个文件 myid，这个文件在 dataDir 目录下，这个文件里面就有一个数据就是 A 的值，Zookeeper 启动时会读取这个文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断究竟是那个 server。

数据模型

Zookeeper 会维护一个具备层次关系的数据结构，它很是相似于一个标准的文件系统，如图 1 所示：

Zookeeper 这种数据结构有以下这些特色：

1. 每一个子目录项如 NameService 都被称做为 znode，这个 znode 是被它所在的路径惟一标识，如 Server1 这个 znode 的标识为 /NameService/Server1
2. znode 能够有子节点目录，而且每一个 znode 能够存储数据，注意 EPHEMERAL 类型的目录节点不能有子节点目录
3. znode 是有版本的，每一个 znode 中存储的数据能够有多个版本，也就是一个访问路径中能够存储多份数据
4. znode 能够是临时节点，一旦建立这个 znode 的客户端与服务器失去联系，这个 znode 也将自动删除，Zookeeper 的客户端和服务器通讯采用长链接方式，每一个客户端和服务器经过心跳来保持链接，这个链接状态称为 session，若是 znode 是临时节点，这个 session 失效，znode 也就删除了
5. znode 的目录名能够自动编号，如 App1 已经存在，再建立的话，将会自动命名为 App2
6. znode 能够被监控，包括这个目录节点中存储的数据的修改，子节点目录的变化等，一旦变化能够通知设置监控的客户端，这个是 Zookeeper 的核心特性，Zookeeper 的不少功能都是基于这个特性实现的，后面在典型的应用场景中会有实例介绍

如何使用

Zookeeper 做为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于相似于文件系统的目录节点树方式的数据存储，可是 Zookeeper 并非用来专门存储数据的，它的做用主要是用来维护和监控你存储的数据的状态变化。经过监控这些数据状态的变化，从而能够达到基于数据的集群管理.

经过C#代码使用zookeeper

Zookeeper的使用主要是经过建立其Nuget ZooKeeperNet包下的Zookeeper实例，而且调用其接口方法进行的，主要的操做就是对znode的增删改操做，监听znode的变化以及处理。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using ZooKeeperNet;

namespace ZookeeperDemo
{
    class Watcher : IWatcher
    {
        public void Process(WatchedEvent @event)
        {
            if (@event.Type == EventType.NodeDataChanged)
            {
                Console.WriteLine(@event.Path);
            }
        }
    }
}

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using ZooKeeperNet;

namespace ZookeeperDemo
{
    class Program
    {
        static void Main(string[] args)
        {

            //建立一个Zookeeper实例，第一个参数为目标服务器地址和端口，第二个参数为Session超时时间，第三个为节点变化时的回调方法 
            using (ZooKeeper zk = new ZooKeeper("127.0.0.1:2181", new TimeSpan(0, 0, 0, 50000), new Watcher()))
            {
                var stat = zk.Exists("/root",true);
                 
                ////建立一个节点root，数据是mydata,不进行ACL权限控制，节点为永久性的(即客户端shutdown了也不会消失) 
                //zk.Create("/root", "mydata".GetBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.Persistent);

                //在root下面建立一个childone znode,数据为childone,不进行ACL权限控制，节点为永久性的 
                zk.Create("/root/childone", "childone".GetBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.Persistent);
                //取得/root节点下的子节点名称,返回List<String> 
                zk.GetChildren("/root", true);
                //取得/root/childone节点下的数据,返回byte[] 
                zk.GetData("/root/childone", true, null);

                //修改节点/root/childone下的数据，第三个参数为版本，若是是-1，那会无视被修改的数据版本，直接改掉
                zk.SetData("/root/childone", "childonemodify".GetBytes(), -1);
                //删除/root/childone这个节点，第二个参数为版本，－1的话直接删除，无视版本 
                zk.Delete("/root/childone", -1);
            }

        }
    }
}

 

浅析

建立链接：

1.获取服务主机列表

2.设置超时时间

3.注册客户端事件

4.以线程安全的方式建立请求链接（启动客户端请求队列，循环队列基于socket通讯、根据请求类型执行不一样的请求动做）

请求流程：

构造请求头、构造request,reponse、构造响应头、构造Packet对象,packet对象准备好后，把整个对象放入一个outgoingQueue
packet被放入outgoingQueue中，等待SendThread把packet对应的内容发送给server。server处理分3步在doio方法中ReadLength ReadConnectResult ReadResponse，直到ReadResponse方法中肯定packet请求结束。

响应流程：

针对心跳的ping请求的resp，针对auth请求的resp，通常接口请求的resp，若是接口请求要求了watcher，当watcher关注的内容有变化时的notification

锁相关部分API方法：

建立节点：create

demo：zk.Create(Dir, severname.GetBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.Persistent);

其中CreateMode分为4类Persistent、PersistentSequential、Ephemeral、EphemeralSequential

PERSISTENT 建立持久化节点，对应机器关闭链接后节点/数据不会消失

PERSISTENT_SEQUENTIAL 若是PATH是以’/’结尾则以这个PATH做为父节点，建立一个子节点，其子节点名字是一个按前后顺序排列的数值；不然建立一个名字是‘/’后面字符加上前后顺序排列的数值字符串的节点，一样建立持久节点

EPHEMERAL 建立瞬时节点，Zookeeper在感知链接机器宕机后会清除它建立的瞬时节点

EPHEMERAL_SEQUENTIAL 穿件瞬时顺序节点，和PERSISTENT_SEQUENTIAL同样，区别在于它是瞬时的

删除节点 delete

demo ：zk.Delete(Dir, -1);

前一个参数表明节点名称（通常用做路径），后一个是版本号 -1表示全匹配

查看节点 exists

demo ： zk.Exists(Dir, new MyWatch2());

获取数据 getData

demo ：zk.GetData(Dir, new MyWatch2(), stat);

获取一个节点的数据，可注入watcher 

设置数据 setData

demo ： zk.SetData(Dir, new byte[1], 1);

获取下级节点集合 GetChildren

demo ：zk.GetChildren(Dir, true);

存储

znodes相似文件和目录。但它不是一个典型的文件系统，zookeeper数据保存在内存中，这意味着zookeeper能够实现高吞吐量和低延迟。

watcher

Zookeeper有两种watches，一种是data watches，另外一种是child watches。其中，getData()和exists()以及create()等会添加data watches，getChildren()会添加child watches。而delete()涉及到删除数据和子节点，会同时触发data watches和child watches。

 

示例代码下载：ZookeeperDemo.zip

相关文章：

ZooKeeper配置 (二)

zookeeper 安装配置(三)

Zookeeper .Net Client

https://github.com/devhong/Zookeeper.Net

基于ZooKeeper构建大规模配置系统II http://xahxy.blog.hexun.com/83250722_d.html

分布式服务框架 Zookeeper -- 管理分布式环境中的数据 http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/

基于ZooKeeper的分布式Session实现 http://blog.csdn.net/jacktan/article/details/6112806

ZooKeeper介绍、分析、理解  http://mazd1002.blog.163.com/blog/static/6657496520111120101753463/

ZooKeeper实现分布式队列Queue http://blog.fens.me/zookeeper-queue/ 

李欣：ZooKeeper在携程的使用及前景 http://v.csdn.hudong.com/open/view/detail/83-SDCC2012-ctrip-ZooKeeper

Storm-源码分析- Storm中Zookeeper的使用

Zookeeper 的学习与运用