zookeeper系列（八）zookeeper运维

zookeeper系列（一）zookeeper必知
zookeeper系列（二）实战master选举
zookeeper系列（三）实战数据发布订阅
zookeeper系列（四）实战负载均衡
zookeeper系列（五）实战分布式锁
zookeeper系列（六）实战分布式队列
zookeeper系列（七）实战分布式命名服务
zookeeper系列（八）zookeeper运维

zookeeper运维

zookeeper配置详解

1、ZK的最小配置
最小配置是指Zookeeper运行所需的最小配置，Zookeeper只须要配置这些项就能够正常的运行Zookeeper。

• clientPort
  配置ZK监听客户端链接的端口
• dataDir
  内存数据库快照存放地址，若是没有指定事务日志存放地址(dataLogDir)，默认也是存放在这个路径下，建议两个地址分开存放到不一样的设备上。
• tickTime
  心跳基本时间单位，毫秒级，ZK基本上全部的时间都是这个时间的整数倍。

2、ZK的高级配置(可选）
高级配置是指有的须要直接经过系统属性进行设置)

• dataLogDir
  将事务日志存储在该路径下，比较重要，这个日志存储的设备效率会影响ZK的写吞吐量。
• globalOutstandingLimit
  (Java system property: zookeeper.globalOutstandingLimit)默认值是1000，限定了全部链接到服务器上可是尚未返回响应的请求个数(全部客户端请求的总数，不是链接总数)，这个参数是针对单台服务器而言，设定太大可能会致使内存溢出。
• preAllocSize
  (Java system property: zookeeper.preAllocSize)默认值64M，以KB为单位,预先分配额定空间用于后续transactionlog 写入，每当剩余空间小于4K时，就会又分配64M，如此循环。若是SNAP作得比较频繁(snapCount比较小的时候)，那么请减小这个值。
• snapCount
  (Java system property: zookeeper.snapCount)默认值100,000，当transaction每达到snapCount/2+rand.nextInt(snapCount/2)时，就作一次SNAPSHOT,默认状况下是50,000~100,000条transactionlog就会作一次，之因此用随机数是为了不全部服务器可能在同一时间作snapshot.
• traceFile (Java system property: requestTraceFile)
• maxClientCnxns
  默认值是10，一个客户端可以链接到同一个服务器上的最大链接数，根据IP来区分。若是设置为0，表示没有任何限制。设置该值一方面是为了防止DoS攻击。
• clientPortAddress
  与clientPort匹配，表示某个IP地址，若是服务器有多个网络接口(多个IP地址),若是没有设置这个属性，则clientPort会绑定到全部IP地址上，不然只绑定到该设置的IP地址上。
• minSessionTimeout
  最小的session time时间，默认值是2个tick time,客户端设置的session time 若是小于这个值，则会被强制协调为这个最小值。
• maxSessionTimeout
  最大的session time 时间，默认值是20个tick time. ,客户端设置的session time 若是大于这个值，则会被强制协调为这个最大值。

3、ZK的集群配置选项

• electionAlg
  领导选举算法，默认是3(fast leader election，基于TCP)，0表示leader选举算法(基于UDP)，1表示非受权快速选举算法(基于UDP)，2表示受权快速选举算法(基于UDP),目前1和2算法都没有应用，不建议使用，0算法将来也可能会被干掉，只保留3(fast leader election)算法，所以最好直接使用默认就好。
• initLimit
  tickTime的个数，表示在leader选举结束后，followers与leader同步须要的时间，若是followers比较多或者说leader的数据灰常多时，同步时间相应可能会增长，那么这个值也须要相应增长。固然，这个值也是follower和observer在开始同步leader的数据时的最大等待时间(setSoTimeout)
• syncLimit
  tickTime的个数，这时间容易和上面的时间混淆，它也表示follower和observer与leader交互时的最大等待时间，只不过是在与leader同步完毕以后，进入正常请求转发或ping等消息交互时的超时时间。
• leaderServes
  (Java system property: zookeeper.leaderServes) 若是该值不是no，则表示该服务器做为leader时是须要接受客户端链接的。为了得到更高吞吐量，当服务器数三台以上时通常建议设置为no。
• cnxTimeout
  (Java system property: zookeeper.cnxTimeout) 默认值是5000,单位ms 表示leaderelection时打开链接的超时时间，只用在算法3中。

4、ZK的不安全配置项

• skipAC
  (Java systemproperty: zookeeper.skipACL) 默认值是no,忽略全部ACL检查，至关于开放了全部数据权限给任何人。
• forceSync
  (Java systemproperty: zookeeper.forceSync) 默认值是yes, 表示transactionlog在commit时是否当即写到磁盘上，若是关闭这个选项可能会在断电时丢失信息。
• jute.maxbuffer
  (Java system property: jute.maxbuffer)默认值0xfffff，单位是KB，表示节点数据最多1M。若是要设置这个值，必需要在全部服务器上都须要设置。

受权认证配置项

• DigestAuthenticationProvider.superDigest
  (Java system property only: zookeeper.DigestAuthenticationProvider.superDigest) 设置这个值是为了肯定一个超级用户，它的值格式为

super:<base64encoded(SHA1(idpassword))> ，一旦当前链接addAuthInfo超级用户验证经过，后续全部操做都不会checkACL.

ZooKeeper 4字命令

ZooKeeper支持某些特定的四字命令字母与其的交互。它们大可能是查询命令，用来获取 ZooKeeper 服务的当前状态及相关信息。用户在客户端能够经过 telnet 或 nc 向 ZooKeeper 提交相应的命令。 其中stat、srvr、cons三个命令比较相似："stat"提供服务器统计和客户端链接的通常信息；"srvr"只有服务的统计信息，"cons"提供客户端链接的更加详细的信息。
使用方式，在shell终端输入：echo mntr | nc localhost 2181

命令	示例	描述
conf	echo conf nc localhost 2181	(New in 3.3.0)输出相关服务配置的详细信息。好比端口、zk数据及日志配置路径、最大链接数，session超时时间、serverId等
cons	echo cons nc localhost 2181	(New in 3.3.0)列出全部链接到这台服务器的客户端链接/会话的详细信息。包括“接受/发送”的包数量、session id 、操做延迟、最后的操做执行等信息。
crst	echo crst nc localhost 2181	(New in 3.3.0)重置当前这台服务器全部链接/会话的统计信息
dump	echo dump nc localhost 2181	列出未经处理的会话和临时节点（只在leader上有效）。
envi	echo envi nc localhost 2181	输出关于服务器的环境详细信息（不一样于conf命令），好比host.name、java.version、java.home、user.dir=/data/zookeeper-3.4.6/bin之类信息
ruok	echo ruok nc localhost 2181	测试服务是否处于正确运行状态。若是正常返回"imok"，不然返回空。
srst	echo srst nc localhost 2181	重置服务器的统计信息
srvr	echo srvr nc localhost 2181	(New in 3.3.0)输出服务器的详细信息。zk版本、接收/发送包数量、链接数、模式（leader/follower）、节点总数。
stat	echo stat nc localhost 2181	输出服务器的详细信息：接收/发送包数量、链接数、模式（leader/follower）、节点总数、延迟。 全部客户端的列表。
wchs	echo wchs nc localhost 2181	(New in 3.3.0)列出服务器watches的简洁信息：链接总数、watching节点总数和watches总数
wchc	echo wchc nc localhost 2181	(New in 3.3.0)经过session分组，列出watch的全部节点，它的输出是一个与 watch 相关的会话的节点列表。若是watches数量很大的话，将会产生很大的开销，会影响性能，当心使用。
wchp	echo wchp nc localhost 2181	(New in 3.3.0)经过路径分组，列出全部的 watch 的session id信息。它输出一个与 session 相关的路径。若是watches数量很大的话，将会产生很大的开销，会影响性能，当心使用。
mntr	echo mntr nc localhost 2181	(New in 3.4.0)列出集群的健康状态。包括“接受/发送”的包数量、操做延迟、当前服务模式（leader/follower）、节点总数、watch总数、临时节点总数。

运维中使用JMX

开启JMX监控：
修改zookeeper的启动脚本vim zkServer.sh。找到启动参数ZOOMAIN，修改成下面值。
其中local.only=false，设为false才能在远程创建链接。

ZOOMAIN="-Dcom.sun.management.jmxremote  -Dcom.sun.management.jmxremote.local.only=false
 -Djava.rmi.server.hostname=127.0.0.1
 -Dcom.sun.management.jmxremote.port=9991
 -Dcom.sun.management.jmxremote.ssl=true
 -Dcom.sun.management.jmxremote.authenticate=true
 -Dcom.sun.management.jmxremote.access.file=/data/zookeeper/conf/jmxremote.access
 -Dcom.sun.management.jmxremote.password.file=/data/zookeeper/conf/jmxremote.password
 -Dzookeeper.jmx.log4j.disable=true
 org.apache.zookeeper.server.quorum.QuorumPeerMain"

在/data/zookeeper/conf目录下创建2个访问受权文件, 修改文件权限chmod 600 jmxremote.*

-rw-------  1 deploy deploy  149 Aug  6 13:44 jmxremote.access
-rw-------  1 deploy deploy   40 Aug  6 13:46 jmxremote.password
[deploy@liutp conf]$ pwd
/data/zookeeper/conf
[deploy@liutp conf]$ cat jmxremote.access
monitorRole   readonly
controlRole   readwrite \
              create javax.management.monitor.*,javax.management.timer.* \
              unregister
[deploy@liutp conf]$ cat jmxremote.password
monitorRole  1234567
controlRole  1234567
[deploy@liutp conf]$

重启zookeeper

使用Java自带的JConsole
在命令行输入JConsole，再回车。
在弹出的界面选择“远程进程”，输入“服务器IP:9991”(zookeeper服务器的IP和端口)

监控平台

exhibitor：可以配置zookeeper而且自由浏览、修改节点数据，查看运行状态信息，自动或手动重启；
zabbix：对CPU负载，内存使用，磁盘使用、网络状态作监控；

zookeeper系列（一）zookeeper必知
zookeeper系列（二）实战master选举
zookeeper系列（三）实战数据发布订阅
zookeeper系列（四）实战负载均衡
zookeeper系列（五）实战分布式锁
zookeeper系列（六）实战分布式队列
zookeeper系列（七）实战分布式命名服务
zookeeper系列（八）zookeeper运维