zookeeper安装以及遇到的一些坑

 正文前先来一波福利推荐：

福利一：

百万年薪架构师视频，该视频能够学到不少东西，是本人花钱买的VIP课程，学习消化了一年，为了支持一下女友公众号也方便你们学习，共享给你们。

福利二：

毕业答辩以及工做上各类答辩，平时积累了很多精品PPT，如今共享给你们，大大小小加起来有几千套，总有适合你的一款，不少是网上是下载不到。

获取方式：

微信关注 精品3分钟 ，id为 jingpin3mins，关注后回复   百万年薪架构师 ，精品收藏PPT  获取云盘连接，谢谢你们支持！

------------------------正文开始---------------------------

 

最近项目中用到了storm，而后storm中用到了zookeeper，而后今天抽空整理一下zookeeper的安装使用，原来后期再慢慢学习。

本篇文档，操做部分是摘自其余博客，里边的问题分析是本身在实践过程当中遇到而后特别记录的！

----------------------------- 开始：

1、Zookeeper原理简介

ZooKeeper是一个开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序能够基于它实现同步服务，配置维护和命名服务等。

Zookeeper设计目的

• 最终一致性：client不论链接到那个Server，展现给它的都是同一个视图。
• 可靠性：具备简单、健壮、良好的性能、若是消息m被到一台服务器接收，那么消息m将被全部服务器接收。
• 实时性：Zookeeper保证客户端将在一个时间间隔范围内得到服务器的更新信息，或者服务器失效的信息。但因为网络延时等缘由，Zookeeper不能保证两个客户端能同时获得刚更新的数据，若是须要最新数据，应该在读数据以前调用sync()接口。
• 等待无关（wait-free）：慢的或者失效的client不得干预快速的client的请求，使得每一个client都能有效的等待。
• 原子性：更新只能成功或者失败，没有中间状态。
• 顺序性：包括全局有序和偏序两种：全局有序是指若是在一台服务器上消息a在消息b前发布，则在全部Server上消息a都将在消息b前被发布；偏序是指若是一个消息b在消息a后被同一个发送者发布，a必将排在b前面。

Zookeeper工做原理

一、在zookeeper的集群中，各个节点共有下面3种角色和4种状态：

角色：leader,follower,observer
状态：leading,following,observing,looking

Zookeeper的核心是原子广播，这个机制保证了各个Server之间的同步。实现这个机制的协议叫作Zab协议（ZooKeeper Atomic Broadcast protocol）。Zab协议有两种模式，它们分别是恢复模式（Recovery选主）和广播模式（Broadcast同步）。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和leader的状态同步之后，恢复模式就结束了。状态同步保证了leader和Server具备相同的系统状态。

为了保证事务的顺序一致性，zookeeper采用了递增的事务id号（zxid）来标识事务。全部的提议（proposal）都在被提出的时候加上了zxid。实现中zxid是一个64位的数字，它高32位是epoch用来标识leader关系是否改变，每次一个leader被选出来，它都会有一个新的epoch，标识当前属于那个leader的统治时期。低32位用于递增计数。

每一个Server在工做过程当中有4种状态：

LOOKING：当前Server不知道leader是谁，正在搜寻。

LEADING：当前Server即为选举出来的leader。

FOLLOWING：leader已经选举出来，当前Server与之同步。

OBSERVING：observer的行为在大多数状况下与follower彻底一致，可是他们不参加选举和投票，而仅仅接受(observing)选举和投票的结果。

Zookeeper集群节点

• Zookeeper节点部署越多，服务的可靠性越高，建议部署奇数个节点，由于zookeeper集群是以宕机个数过半才会让整个集群宕机的。
• 须要给每一个zookeeper 1G左右的内存，若是可能的话，最好有独立的磁盘，由于独立磁盘能够确保zookeeper是高性能的。若是你的集群负载很重，不要把zookeeper和RegionServer运行在同一台机器上面，就像DataNodes和TaskTrackers同样。

实验环境

主机名	系统	IP地址
linux-node1	CentOS release 6.8	192.168.1.148
linux-node2	CentOS release 6.8	192.168.1.149
linux-node2	CentOS release 6.8	192.168.1.150

2、Zookeeper安装

Zookeeper运行须要java环境，须要安装jdk，注：每台服务器上面都须要安装zookeeper、jdk，建议本地下载好须要的安装包而后上传到服务器上面，服务器上面下载速度太慢。

2.一、JDK安装

JDK下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html

rpm -ivh jdk-8u101-linux-x64.rpm

2.二、Zookeeper安装

Zookeeper连接：http://zookeeper.apache.org/

wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz -P /usr/local/src/
tar zxvf zookeeper-3.4.8.tar.gz -C /opt
cd /opt && mv zookeeper-3.4.8 zookeeper
cd zookeeper
cp conf/zoo_sample.cfg conf/zoo.cfg

#把zookeeper加入到环境变量

echo -e "# append zk_env\nexport PATH=$PATH:/opt/zookeeper/bin" >> /etc/profile

3、Zookeeper集群配置

注意：搭建zookeeper集群时，必定要先中止已经启动的zookeeper节点。

3.一、Zookeeper配置文件修改

#修改事后的配置文件zoo.cfg，以下：

egrep -v "^#|^$" zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataLogDir=/opt/zookeeper/logs
dataDir=/opt/zookeeper/data
clientPort=2181
autopurge.snapRetainCount=500
autopurge.purgeInterval=24
server.1= 192.168.1.148:2888:3888
server.2= 192.168.1.149:2888:3888
server.3= 192.168.1.150:2888:3888

#建立相关目录，三台节点都须要

mkdir -p /opt/zookeeper/{logs,data}

#其他zookeeper节点安装完成以后，同步配置文件zoo.cfg。

3.二、配置参数说明

tickTime这个时间是做为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是说每一个tickTime时间就会发送一个心跳。

initLimit这个配置项是用来配置zookeeper接受客户端（这里所说的客户端不是用户链接zookeeper服务器的客户端,而是zookeeper服务器集群中链接到leader的follower 服务器）初始化链接时最长能忍受多少个心跳时间间隔数。

当已经超过10个心跳的时间（也就是tickTime）长度后 zookeeper 服务器尚未收到客户端的返回信息,那么代表这个客户端链接失败。总的时间长度就是 10*2000=20秒。

syncLimit这个配置项标识leader与follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度,总的时间长度就是5*2000=10秒。

dataDir顾名思义就是zookeeper保存数据的目录,默认状况下zookeeper将写数据的日志文件也保存在这个目录里；

clientPort这个端口就是客户端链接Zookeeper服务器的端口,Zookeeper会监听这个端口接受客户端的访问请求；

server.A=B:C:D中的A是一个数字,表示这个是第几号服务器,B是这个服务器的IP地址，C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口，D是在leader挂掉时专门用来进行选举leader所用的端口。

3.三、建立ServerID标识

除了修改zoo.cfg配置文件外,zookeeper集群模式下还要配置一个myid文件,这个文件须要放在dataDir目录下。

这个文件里面有一个数据就是A的值（该A就是zoo.cfg文件中server.A=B:C:D中的A）,在zoo.cfg文件中配置的dataDir路径中建立myid文件。

#在192.168.1.148服务器上面建立myid文件，并设置值为1，同时与zoo.cfg文件里面的server.1保持一致，以下

echo "1" > /opt/zookeeper/data/myid

#在192.168.1.149服务器上面建立myid文件，并设置值为2，同时与zoo.cfg文件里面的server.2保持一致，以下

echo "2" > /opt/zookeeper/data/myid

#在192.168.1.150服务器上面建立myid文件，并设置值为1，同时与zoo.cfg文件里面的server.3保持一致，以下

echo "3" > /opt/zookeeper/data/myid

到此，相关配置已完成

-------------------------------------------------------------------------------------------------------------------

4、Zookeeper集群启动与查看

一、启动每一个服务器上面的zookeeper节点：

#linux-node一、linux-node二、linux-node3

/opt/zookeeper/bin/zkServer.sh start

注意：报错排查

Zookeeper节点启动不了可能缘由：zoo.cfg配置文件有误、iptables没关。

二、启动完成以后查看每一个节点的状态

#linux-node1

#linux-node2

#linux-node3

#从上面能够看出，linux-node1，linux-node3两台服务器zookeeper的状态是follow模式，linux-node2这台服务器zookeeper的状态是leader模式。

 

本身的机器使用status查询不成功，感受像是版本问题，因为时间问题不过多的纠结，此处

查看文档的时候，很感谢觉得网友的回答，解决了该问题；以下：

root@host:~# telnet localhost 2181 Trying 127.0.0.1... Connected to myhost. Escape character is '^]'. stats Zookeeper version: 3.4.3-cdh4.0.1--1, built on 06/28/2012 23:59 GMT Clients: Latency min/avg/max: 0/0/677 Received: 4684478 Sent: 4687034 Outstanding: 0 Zxid: 0xb00187dd0 Mode: leader Node count: 127182 Connection closed by foreign host.

 

本地未安装telnet，如今安装telnet，以下：

1、安装telnet

一、检测telnet-server的rpm包是否安装 

[root@localhost ~]# rpm -qa telnet-server 
若无输入内容，则表示没有安装。出于安全考虑telnet-server.rpm是默认没有安装的，而telnet的客户端是标配。即下面的软件是默认安装的。

二、若未安装，则安装telnet-server，不然忽略此步骤

[root@localhost ~]#yum install telnet-server 　

 

 

三、检测telnet-server的rpm包是否安装 

[root@localhost ~]# rpm -qa telnet 
telnet-0.17-47.el6_3.1.x86_64

四、若未安装，则安装telnet，不然忽略此步骤

[root@localhost ~]# yum install telnet

 

结果以下：

linux1：

linux2：

linux3：

 

-------------------------------------------------------------------------------------------------------------------

5、Zookeeper集群链接

Zookeeper集群搭建完毕以后，能够经过客户端脚本链接到zookeeper集群上面，对客户端来讲，zookeeper集群是一个总体，链接到zookeeper集群实际上感受在独享整个集群的服务。
#在linux-node1测试
经过上图能够看出整个zookeeper集群已经搭建并测试完成。#Zookeeper原理：http://blog.csdn.net/wuliu_forever/article/details/52053557http://www.cnblogs.com/luxiaoxun/p/4887452.html