ZooKeeper的学习与应用
1. ZooKeeper的学习与应用java
1.1. 概述node
ZooKeeper是Apache在很是多云计算项目中的一个，与Hadoop密切相关，这样的状况致使我一開始以为ZooKeeper的搭建需要Hadoop项目做为支持，但是最后发现全然不需要，它是可以单独执行的一个项目。算法
在网上看到了一个很是不错的关于ZooKeeper的介绍： 顾名思义动物园管理员，他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员， Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都採用到了 Zookeeper。ZooKeeper是一个分布式的，开放源代码的分布式应用程序协调服务，ZooKeeper是以Fast Paxos算法为基础，实现同步服务，配置维护和命名服务等分布式应用。shell
从介绍可以看出，ZooKeeper更倾向于对大型应用的协同维护管理工做。IBM则给出了IBM对ZooKeeper的认知： Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。数据库
总之，我以为它的核心词就是一个单词，协调。express
1.2. ZooKeeper的特征apache
在Hadoop权威指南中看到了关于ZooKeeper的一些核心特征，阅读以后感受总结的甚是精辟，在这里引用并总结。缓存
1.2.1. 简易session
ZooKeeper的最重要核心就是一个精简文件系统，提供一些简单的操做以及附加的抽象（好比排序和通知）。数据结构
1.2.2. 易表达
ZooKeeper的原型是一个丰富的集合，它们是一些已建好的块，可以用来构建大型的协做数据结构和协议，好比：分布式队列、分布式锁以及一组对等体的选举。
1.2.3. 高可用性
ZooKeeper执行在一些集群上，被设计成可用性较高的，所以应用程序可以依赖它。ZooKeeper可以帮助你的系统避免单点故障，从而创建一个可靠的应用程序。
1.2.4. 松散耦合
ZooKeeper的交互支持參与者之间并不了解对方。好比：ZooKeeper可以被当作一种公共的机制，使得进程彼此不知道对方的存在也可以相互发现并且交互，对等方可能甚至不是同步的。
这一特色我感受最能体现在集群的部署启动过程当中。像Hadoop当把配置文件写好以后，而后执行启动脚本，则251，241，242中做为集群的虚拟机是同步启动的，也就是DataNode，NameNode，TaskTracker，以及JobTracker的启动并执行时在一次启动过程当中启动的，就是执行一次启动脚本文件，则都启动起来。但是ZooKeeper的启动过程却不是这种。我在251，241，242部署了ZooKeeper集群，并进行启动，则启动的过程是这种：首先ssh到251而后启动，这时候251的集群节点启动起来，但是控制台一直报错，大概的含义就是没有检測到其它两个结点。接着分别ssh到241，242，分别启动集群中的剩下的结点，当241启动起来时，回到251查看，发现报错的信息下降，意思是仅仅差一个结点。当251，241，242三台server的结点全部启动起来，则三台的server的控制台打印出正常的信息。
1.2.5. ZooKeeper是一个库
ZooKeeper提供了一个开源的、共享的运行存储，以及通用协做的方法，分担了每个程序猿写通用协议的负担。随着时间的推移，人们可以添加和改进这个库来知足本身的需求。
1.3. Zookeeper基本知识
在这一小结，我介绍关于ZooKeeper的一些基本理论知识，以便对ZooKeeper有一个基本感性的认识吧，由于学习的时间不长，有些的认识多是比較片面的，以后假设有了更深层次的认识，会补充于以后的月总结中。
1.3.1. 层次化的名字空间
ZooKeeper的整个名字空间的结构是层次化的，和通常的Linux文件系统结构很是类似，一颗很是大的树。这也就是ZooKeeper的数据结构状况。名字空间的层次由斜杠/来进行切割，在名称空间里面的每一个结点的名字空间惟一由这个结点的路径来肯定。
图3.1 ZooKeeper的层次化名字空间
每一个节点拥有自身的一些信息，包含：数据、数据长度、建立时间、改动时间等等。从这样一类既含有数据，又做为路径表标示的节点的特色中，可以看出，ZooKeeper的节点既可以被看作是一个文件，又可以被看作是一个文件夹，它同一时候具备两者的特色。为了便于表达，从此咱们将使用Znode来表示所讨论的ZooKeeper节点。
1.3.2. Znode
Znode维护着数据、ACL（access control list，訪问控制列表）、时间戳等交换版本等数据结构，它经过对这些数据的管理来让缓存生效并且令协调更新。每当Znode中的数据更新后它所维护的版本将添加，这很相似于数据库中计数器时间戳的操做方式。
另外Znode还具备原子性操做的特色：命名空间中，每一个Znode的数据将被原子地读写。读操做将读取与Znode相关的所有数据，写操做将替换掉所有的数据。除此以外，每一个节点都有一个訪问控制列表，这个訪问控制列表规定了用户操做的权限。
ZooKeeper中相同存在暂时节点。这些节点与session同一时候存在，当session生命周期结束，这些暂时节点也将被删除。暂时节点在某些场合也发挥着很关键的数据。
1.3.3. Watch机制
Watch机制就和单词自己的意思同样，看。看什么？详细来说就是某一个或者一些Znode的变化。官方给出的定义：一个Watch事件是一个一次性的触发器，当被设置了Watch的数据发生了改变的时候，则server将这个改变发送给设置了Watch的client，以便通知它们。
Watch机制主要有下面三个特色：
1 一次性的触发器（one-time trigger）
当数据改变的时候，那么一个Watch事件会产生并且被发送到client中。但是client仅仅会收到一次这种通知，假设之后这个数据再次发生改变的时候，以前设置Watch的client将不会再次收到改变的通知，因为Watch机制规定了它是一个一次性的触发器。
2 发送给client
这个代表了Watch的通知事件是从server发送给client的，是异步的，这就代表不一样的client收到的Watch的时间可能不一样，但是ZooKeeper有保证：当一个client在看到Watch事件以前是不会看到结点数据的变化的。好比：A=3，此时在上面设置了一次Watch，假设A忽然变成4了，那么client会先收到Watch事件的通知，而后才会看到A=4。
3被设置Watch的数据
这代表了一个结点可以变换的不一样方式。一个Znode变化方式有两种，结点自己数据的变化以及结点孩子的变化。所以Watch也可以设置为这个Znode的结点数据，固然也可以设置为Znode结点孩子。
1.3.4. ACL訪问控制列表
这是另一个和Linux操做系统很类似的地方，ZooKeeper使用ACL来控制对旗下Znode结点们的訪问。ACL的实现和Linux文件系统的訪问权限十分相似：它经过设置权限为来代表是否赞成对一个结点的相关内容的改变。
但是与传统Linux机制不太一样，一个结点的数据没有相似“拥有者，组用户，其它用户”的概念，在ZooKeeper中，ACL经过设置ID以及与其关联的权限来完毕訪问控制的。ACL的权限组成语法是：
(scheme:expression, perms)
前者代表设置的ID，逗号后面表示的是ID相关的权限，好比：
(ip:172.16.16.1, READ)
指明了IP地址为如上的用户的权限为仅仅读。
下面列举下面ACL所具备的权限
CREATE：代表你可以建立一个Znode的子结点。
READ：你可以获得这个结点的数据以及列举该结点的子结点状况。
WRITE：设置一个结点的数据。
DELETE：可以删除一个结点
ADMIN：对一个结点设置权限。
1.4. ZooKeeper的部署以及简单使用
要想使用ZooKeeper，首先就要把它部署在server上跑起来，就想Apache，Tomcat，FtpServer等server同样。ZooKeeper的部署方式主要有三种，单机模式、伪集群模式、集群模式。事实上剩下的两种模式都是集群模式的特殊状况。
1.4.1. 主要的环境变量配置
Java大型的项目中，环境变量的配置很是重要，假设没有很是好的配置环境变量的话，甚至项目连启动都是难事。
export ZOOKEEPER_HOME=/home/zookeeper-3.3.3
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf
1.4.2. ZooKeeper的单机模式部署
ZooKeeper的单机模式通常是用来高速測试client应用程序的，在实际过程当中不多是单机模式。单机模式的配置也比較简单。
l 编写配置文件zoo.cfg
zookeeper-3.3.3/conf目录如下就是要编写配置文件的位置了。在目录如下新建一个文件zoo.cfg。ZooKeeper的执行默认是读取zoo.cfg文件中面的内容的。如下是一个最简单的配置文件的例子：
tickTime=2000
dataDir=/var/zookeeper
clientPort=2181
在这个文件里，咱们需要指定 dataDir 的值，它指向了一个文件夹，这个文件夹在開始的时候需要为空。如下是每个參数的含义：
tickTime ：基本事件单元，以毫秒为单位。这个时间是做为 Zookeeper server之间或client与server之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
dataDir ：存储内存中数据库快照的位置，顾名思义就是 Zookeeper 保存数据的文件夹，默认状况下，Zookeeper 将写数据的日志文件也保存在这个文件夹里。
clientPort ：这个port就是client链接 Zookeeper server的port，Zookeeper 会监听这个port，接受client的訪问请求。
使用单机模式时用户需要注意：这样的配置方式下没有 ZooKeeper 副本，因此假设 ZooKeeper server出现问题， ZooKeeper 服务将会中止。
l 执行执行脚本
在zookeeper-3.3.3/bin目录如下执行zkServer.sh就能够，执行完成以后则ZooKeeper服务变启动起来。
./zkServer.sh start
脚本默认调用zoo.cfg里面的配置，所以程序正常启动。
1.4.3. ZooKeeper的集群模式部署
ZooKeeper的集群模式下，多个Zookeeperserver在工做前会选举出一个Leader，在接下来的工做中这个被选举出来的Leader死了，而剩下的Zookeeperserver会知道这个Leader死掉了，在活着的Zookeeper集群中会继续选出一个Leader，选举出Leader的目的是为了可以在分布式的环境中保证数据的一致性。如图所看到的：
图3.2 ZooKeeper集群模式图
l 确认集群server的数量
由于ZooKeeper集群中，会有一个Leader负责管理和协调其它集群server，所以server的数量一般都是单数，好比3，5，7...等，这样2n+1的数量的server就可以赞成最多n台server的失效。
l 编写配置文件
配置文件需要在每台server中都要编写，下面是一个配置文件的样本：
# Filename zoo.cfg
tickTime=2000
dataDir=/var/zookeeper/
clientPort=2181
initLimit=5
syncLimit=2
server.1=202.115.36.251:2888:3888
server.2=202.115.36.241:2888:3888
server.3=202.115.36.242:2888:3888
initLimit：这个配置项是用来配置 Zookeeper 接受client（这里所说的client不是用户链接 Zookeeper server的client，而是 Zookeeper server集群中链接到 Leader 的 Follower server）初始化链接时最长能忍受多少个心跳时间间隔数。当已经超过 10 个心跳的时间（也就是 tickTime）长度后 Zookeeper server尚未收到client的返回信息，那么代表这个client链接失败。总的时间长度就是 5*2000=10 秒。
syncLimit：这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 2*2000=4 秒
server.A=B：C：D：当中 A 是一个数字，表示这个是第几号server；B 是这个server的 ip 地址；C 表示的是这个server与集群中的 Leader server交换信息的port；D 表示的是万一集群中的 Leader server挂了，需要一个port来又一次进行选举，选出一个新的 Leader，而这个port就是用来运行选举时server相互通讯的port。假设是伪集群的配置方式，由于 B 都是同样，因此不一样的 Zookeeper 实例通讯port号不能同样，因此要给它们分配不一样的port号。
l 建立myid文件
除了改动 zoo.cfg 配置文件，集群模式下还要配置一个文件 myid，这个文件在 dataDir 文件夹下，这个文件中面就仅仅有一个数据就是 A 的值，Zookeeper 启动时会读取这个文件，拿到里面的数据与 zoo.cfg 里面的配置信息比較从而推断到底是那个 server。
l 执行执行脚本
和单机模式下的执行方式基本一样，值得注意的地方就是要分别在不一样server上执行一次，好比分别在251，241，242上执行：
./zkServer.sh start
这样才干使得整个集群启动起来。
1.4.4. ZooKeeper的集群伪分布
事实上在企业中式不会存在的，另外为了測试一个client程序也没有必要存在，仅仅有在物质条件比較匮乏的条件下才会存在的模式。
集群伪分布模式就是在单机下模拟集群的ZooKeeper服务，在一台机器上面有多个ZooKeeper的JVM同一时候执行。
l 确认集群伪server的数量
2n+1，和以前的集群分布一样。
l 编写配置文件
在/conf目录新建三个配置文件，zoo1.cfg，zoo2.cfg以及zoo3.cfg。配置文件分别例如如下编写：
Zoo1.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/root/hadoop-0.20.2/zookeeper-3.3.1/d_1
clientPort=2181
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889
Zoo2.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/root/hadoop-0.20.2/zookeeper-3.3.1/d_2
clientPort=2182
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889
Zoo3.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/root/hadoop-0.20.2/zookeeper-3.3.1/d_3
clientPort=2183
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889
由于三个服务都在同一台电脑上，所以这里要保证地址的惟一性，所以要特别注意IP地址和port号不要互相冲突，以避免影响程序的正确运行。
l 建立myid文件
这个同集群模式部署，在各自的目录如下建立。
l 执行执行脚本
由于所有的配置文件都在/conf目录如下，所以要运行三次，而且要加文件名称的參数，否则会默认运行zoo.cfg这个文件，例如如下：
./zkServer.sh start zoo1.cfg
./zkServer.sh start zoo2.cfg
./zkServer.sh start zoo3.cfg
运行完毕后，将完毕ZooKeeper的集群伪分布的启动。
1.4.5. 经过ZooKeeper命令行工具訪问ZooKeeper
ZooKeeper命令行工具相似于Linux的shell环境，只是功能确定不及shell啦，但是使用它咱们可以简单的对ZooKeeper进行訪问，数据建立，数据改动等操做。
当启动 ZooKeeper 服务成功以后，输入下述命令，链接到 ZooKeeper 服务：
zkCli.sh –server 202.115.36.251:2181
链接成功后，系统会输出 ZooKeeper 的相关环境以及配置信息，并在屏幕输出“ Welcome to ZooKeeper ”等信息。
命令行工具的一些简单操做例如如下：
1 ）使用 ls 命令来查看当前 ZooKeeper 中所包括的内容：
[zk: 202.115.36.251:2181(CONNECTED) 1] ls /
2 ）建立一个新的 znode ，使用 create /zk myData 。这个命令建立了一个新的 znode 节点“ zk ”以及与它关联的字符串：
[zk: 202.115.36.251:2181(CONNECTED) 2] create /zk "myData"
3 ）咱们执行 get 命令来确认 znode 是否包括咱们所建立的字符串：
[zk: 202.115.36.251:2181(CONNECTED) 3] get /zk
4 ）如下咱们经过 set 命令来对 zk 所关联的字符串进行设置：
[zk: 202.115.36.251:2181(CONNECTED) 4] set /zk "zsl"
5 ）如下咱们将刚才建立的 znode 删除：
[zk: 202.115.36.251:2181(CONNECTED) 5] delete /zk
1.4.6. 使用API来訪问ZooKeeper
API訪问ZooKeeper才是client基本的使用手段，经过在client编写丰富多彩的程序，来达到对ZooKeeper的利用。这里给出一个简单的样例：（深刻的还没能力给出啊，样例是从网上找的很是清晰明了）
1. import java.io.IOException;
2.
3. import org.apache.zookeeper.CreateMode;
4. import org.apache.zookeeper.KeeperException;
5. import org.apache.zookeeper.Watcher;
6. import org.apache.zookeeper.ZooDefs.Ids;
7. import org.apache.zookeeper.ZooKeeper;
8.
9. public class demo {
10. // 会话超时时间，设置为与系统默认时间一致
11. private static final int SESSION_TIMEOUT=30000;
12.
13. // 建立 ZooKeeper 实例
14. ZooKeeper zk;
15.
16. // 建立 Watcher 实例
17. Watcher wh=new Watcher(){
18. public void process(org.apache.zookeeper.WatchedEvent event)
19. {
20. System.out.println(event.toString());
21. }
22. };
23.
24. // 初始化 ZooKeeper 实例
25. private void createZKInstance() throws IOException
26. {
27. zk=new ZooKeeper("localhost:2181",demo.SESSION_TIMEOUT,this.wh);
28.
29. }
30.
31. private void ZKOperations() throws IOException,InterruptedException,KeeperException
32. {
33. System.out.println("\n1. 建立 ZooKeeper 节点 (znode ： zoo2, 数据： myData2 ，权限： OPEN_ACL_UNSAFE ，节点类型： Persistent");
34. zk.create("/zoo2","myData2".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
35.
36. System.out.println("\n2. 查看是否建立成功： ");
37. System.out.println(new String(zk.getData("/zoo2",false,null)));
38.
39. System.out.println("\n3. 改动节点数据 ");
40. zk.setData("/zoo2", "shenlan211314".getBytes(), -1);
41.
42. System.out.println("\n4. 查看是否改动成功： ");
43. System.out.println(new String(zk.getData("/zoo2", false, null)));
44.
45. System.out.println("\n5. 删除节点 ");
46. zk.delete("/zoo2", -1);
47.
48. System.out.println("\n6. 查看节点是否被删除： ");
49. System.out.println(" 节点状态： ["+zk.exists("/zoo2", false)+"]");
50. }
51.
52. private void ZKClose() throws InterruptedException
53. {
54. zk.close();
55. }
56.
57. public static void main(String[] args) throws IOException,InterruptedException,KeeperException {
58. demo dm=new demo();
59. dm.createZKInstance( );
60. dm.ZKOperations();
61. dm.ZKClose();
62. }
63.}
此类包括两个基本的 ZooKeeper 函数，分别为 createZKInstance （）和 ZKOperations （）。当中 createZKInstance （）函数负责对 ZooKeeper 实例 zk 进行初始化。 ZooKeeper 类有两个构造函数，咱们这里使用 “ ZooKeeper （ String connectString, ， int sessionTimeout, ， Watcher watcher ）”对其进行初始化。所以，咱们需要提供初始化所需的，链接字符串信息，会话超时时间，以及一个 watcher 实例。 17 行到 23 行代码，是程序所构造的一个 watcher 实例，它能够输出所发生的事件。
ZKOperations （）函数是咱们所定义的对节点的一系列操做。它包含：建立 ZooKeeper 节点（ 33 行到 34 行代码）、查看节点（ 36 行到 37 行代码）、改动节点数据（ 39 行到 40 行代码）、查看改动后节点数据（ 42 行到 43 行代码）、删除节点（ 45 行到 46 行代码）、查看节点是否存在（ 48 行到 49 行代码）。另外，需要注意的是：在建立节点的时候，需要提供节点的名称、数据、权限以及节点类型。此外，使用 exists 函数时，假设节点不存在将返回一
个 null 值。
1.5. 小结
对于ZooKeeper的认识眼下处在比較浅显的状态，了解到了主要的服务的部署以及大概ZooKeeper的工做原理。很是多东西都是仅仅懂得皮毛，现在能够深深地感觉到“仅仅有结合详细的应用才干使你对一个东西有较深的了解”这句话的深入含义了。
- 1. ZooKeeper的学习与应用
- 2. [转]ZooKeeper的学习与应用
- 3. Zookeeper 的学习与运用
- 4. zookeeper学习三：zookeeper应用场景
- 5. Zookeeper的应用场景学习（Zookeeper用来干什么）
- 6. 【转载】Zookeeper 的学习与运用
- 7. Zookeeper(三) Zookeeper原理与应用
- 8. zookeeper的应用
- 9. ZooKeeper原理与应用
- 10. zookeeper原理与应用
- 更多相关文章...
- • Maven Web 应用 - Maven教程
- • XML 应用程序 - XML 教程
- • 适用于PHP初学者的学习线路和建议
- • Tomcat学习笔记（史上最全tomcat学习笔记）
-
每一个你不满意的现在，都有一个你没有努力的曾经。
- 1. eclipse设置粘贴字符串自动转义
- 2. android客户端学习-启动模拟器异常Emulator: failed to initialize HAX: Invalid argument
- 3. android.view.InflateException: class com.jpardogo.listbuddies.lib.views.ListBuddiesLayout问题
- 4. MYSQL8.0数据库恢复 MYSQL8.0ibd数据恢复 MYSQL8.0恢复数据库
- 5. 你本是一个肉体，是什么驱使你前行【1】
- 6. 2018.04.30
- 7. 2018.04.30
- 8. 你本是一个肉体，是什么驱使你前行【3】
- 9. 你本是一个肉体，是什么驱使你前行【2】
- 10. 【资讯】LocalBitcoins达到每周交易比特币的7年低点