CentOs7.3 搭建 ZooKeeper-3.4.9 Cluster 集群服务

时间  2019-11-08
标签 centos7.3 centos 搭建 zookeeper 3.4.9 cluster 集群 服务 栏目 CentOS 繁體版
原文   原文链接

CentOs7.3 搭建 ZooKeeper-3.4.9 Cluster 集群服务

Zookeeper 概述

zookeeper其实是yahoo开发的，用于分布式中一致性处理的框架。最初其做为研发Hadoop时的副产品。因为分布式系统中一致性处理较为困难，其余的分布式系统没有必要 费劲重复造轮子，故随后的分布式系统中大量应用了zookeeper，以致于zookeeper成为了各类分布式系统的基础组件，其地位之重要，可想而知。著名的hadoop，kafka，dubbo 都是基于zookeeper而构建。html

要想理解zookeeper究竟是作啥的，那首先得理解清楚，什么是一致性？java

所谓的一致性，实际上就是围绕着“看见”来的。谁能看见？可否看见？何时看见？举个例子：淘宝后台卖家，在后台上架一件大促的商品，经过服务器A提交到主数据库，假设刚提交后立马就有用户去经过应用服务器B去从数据库查询该商品，就会出现一个现象，卖家已经更新成功了，然而买家却看不到；而通过一段时间后，主数据库的数据同步到了从数据库，买家就能查到了。node

假设卖家更新成功以后买家立马就能看到卖家的更新，则称为强一致性linux

若是卖家更新成功后买家不能看到卖家更新的内容，则称为弱一致性数据库

而卖家更新成功后，买家通过一段时间最终能看到卖家的更新，则称为最终一致性apache

《一致性协议》segmentfault

《ZooKeeper应用场景》centos

《分布式架构》api

《分布式 ZooKeeper 系列》浏览器

环境

VMware版本号：12.0.0

CentOS版本：CentOS 7.3.1611

ZooKeeper版本：ZooKeeper-3.4.9.tar.gz

虚拟机IP：192.168.252.101，192.168.252.102，192.168.252.103

集群主机名称：node1，node2，node3 具体参考《CentOs7.3 修改主机名》

集群主机用户：都是用root用户

集群JDK环境：jdk-8u144-linux-x64.tar.gz JDK 1.8 安装 具体参考《CentOs7.3 安装 JDK1.8》

集群主机之间设置免密登录：设置方式见：《CentOs7.3 ssh 免密登陆》

注意事项

关闭防火墙

centos 6.x 关闭 iptables

$ service iptables stop # 关闭命令：

centos 7.x 关闭firewall

$ systemctl stop firewalld.service # 中止firewall

ZooKeeper 安装

1.下载ZooKeeper

下载最新版本的ZooKeeper ，我在北京我就选择，清华镜像比较快

清华镜像:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/

阿里镜像:https://mirrors.aliyun.com/apache/zookeeper/

$ cd /opt/
$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz

或者在浏览器下载上传至opt 目录

2.提取tar文件

$ cd /opt/
$ tar -zxf  zookeeper-3.4.9.tar.gz
$ cd zookeeper-3.4.9

建立data文件夹 用于存储数据文件

$ mkdir /opt/zookeeper-3.4.9/data

建立logs文件夹 用于存储日志

$ mkdir /opt/zookeeper-3.4.9/logs

3.建立配置文件

zoo.cfg

zookeeper的主要配置文件，由于Zookeeper是一个集群服务，集群的每一个节点都须要这个配置文件。为了不出差错，zoo.cfg这个配置文件里没有跟特定节点相关的配置，因此每一个节点上的这个zoo.cfg都是如出一辙的配置。这样就很是便于管理了，好比咱们能够把这个文件提交到版本控制里管理起来。其实这给咱们设计集群系统的时候也是个提示：集群系统通常有不少配置，应该尽可能将通用的配置和特定每一个服务的配置(好比服务标识)分离，这样通用的配置在不一样服务之间copy就ok了

$ vi /opt/zookeeper-3.4.9/conf/zoo.cfg

编辑内容以下

tickTime = 2000
dataDir =  /opt/zookeeper-3.4.9/data
dataLogDir = /opt/zookeeper-3.4.9/logs
tickTime = 2000
clientPort = 2181
initLimit = 5
syncLimit = 2

server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

配置文件描述

tickTime

  • tickTime则是上述两个超时配置的基本单位，例如对于initLimit，其配置值为5，说明其超时时间为 2000ms * 5 = 10秒。

dataDir

  • 其配置的含义跟单机模式下的含义相似，不一样的是集群模式下还有一个myid文件。myid文件的内容只有一行，且内容只能为1 - 255之间的数字，这个数字亦即上面介绍server.id中的id，表示zk进程的id。

dataLogDir

  • 若是没提供的话使用的则是dataDir。zookeeper的持久化都存储在这两个目录里。dataLogDir里是放到的顺序日志(WAL)。而dataDir里放的是内存数据结构的snapshot，便于快速恢复。为了达到性能最大化，通常建议把dataDir和dataLogDir分到不一样的磁盘上，这样就能够充分利用磁盘顺序写的特性。

initLimit

  • ZooKeeper集群模式下包含多个zk进程，其中一个进程为leader，余下的进程为follower。

当follower最初与leader创建链接时，它们之间会传输至关多的数据，尤为是follower的数据落后leader不少。initLimit配置follower与leader之间创建链接后进行同步的最长时间。

syncLimit

  • 配置follower和leader之间发送消息，请求和应答的最大时间长度。

server.id=host:port1:port2

server.id 其中id为一个数字，表示zk进程的id，这个id也是data目录下myid文件的内容

host 是该zk进程所在的IP地址

port1 表示follower和leader交换消息所使用的端口

port2 表示选举leader所使用的端口

4.建立myid 文件

在data里会放置一个myid文件，里面就一个数字，用来惟一标识这个服务。这个id是很重要的，必定要保证整个集群中惟一

ZooKeeper会根据这个id来取出server.x上的配置。好比当前id为1，则对应着zoo.cfg里的server.1的配置

$ echo "1" > /opt/zookeeper-3.4.9/data/myid

这样一台node1机器就配置完了

5.复制集群配置

在集群node1 上执行,复制配置好的zookeeper到其余两台主机上

$ for a in {2..3} ; do scp -r /opt/zookeeper-3.4.9/ node$a:/opt/zookeeper-3.4.9 ; done

在集群node1 上执行 ,批量修改myid 文件

$ for a in {1..3} ; do ssh node$a "source /etc/profile; echo $a > /opt/zookeeper-3.4.9/data/myid" ; done

集群操做

在集群任意一台机器上执行

启动集群

$ for a in {1..3} ; do ssh node$a "source /etc/profile; /opt/zookeeper-3.4.9/bin/zkServer.sh start" ; done

响应

ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

链接集群

$ /opt/zookeeper-3.4.9/bin/zkCli.sh -server node1:2181,node2:2181,node3:2181

响应

Connecting to node1:2181,node2:2181,node3:2181
2017-08-23 11:08:10,323 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.9-1757313, built on 08/23/2016 06:50 GMT
2017-08-23 11:08:10,328 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=node1
2017-08-23 11:08:10,329 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.8.0_144
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/usr/lib/jvm/jre
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:java.class.path=/opt/zookeeper-3.4.9/bin/../build/classes:/opt/zookeeper-3.4.9/bin/../build/lib/*.jar:/opt/zookeeper-3.4.9/bin/../lib/slf4j-log4j12-1.6.1.jar:/opt/zookeeper-3.4.9/bin/../lib/slf4j-api-1.6.1.jar:/opt/zookeeper-3.4.9/bin/../lib/netty-3.10.5.Final.jar:/opt/zookeeper-3.4.9/bin/../lib/log4j-1.2.16.jar:/opt/zookeeper-3.4.9/bin/../lib/jline-0.9.94.jar:/opt/zookeeper-3.4.9/bin/../zookeeper-3.4.9.jar:/opt/zookeeper-3.4.9/bin/../src/java/lib/*.jar:/opt/zookeeper-3.4.9/bin/../conf:.:/lib/jvm/lib:/lib/jvm/jre/lib
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:os.arch=amd64
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:os.version=3.10.0-514.26.2.el7.x86_64
2017-08-23 11:08:10,331 [myid:] - INFO  [main:Environment@100] - Client environment:user.name=root
2017-08-23 11:08:10,332 [myid:] - INFO  [main:Environment@100] - Client environment:user.home=/root
2017-08-23 11:08:10,332 [myid:] - INFO  [main:Environment@100] - Client environment:user.dir=/root
2017-08-23 11:08:10,333 [myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=node1:2181,node2:2181,node3:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@506c589e
2017-08-23 11:08:10,361 [myid:] - INFO  [main-SendThread(node3:2181):ClientCnxn$SendThread@1032] - Opening socket connection to server node3/192.168.252.123:2181. Will not attempt to authenticate using SASL (unknown error)
Welcome to ZooKeeper!
JLine support is enabled
2017-08-23 11:08:10,474 [myid:] - INFO  [main-SendThread(node3:2181):ClientCnxn$SendThread@876] - Socket connection established to node3/192.168.252.123:2181, initiating session
[zk: node1:2181,node2:2181,node3:2181(CONNECTING) 0] 2017-08-23 11:08:10,535 [myid:] - INFO  [main-SendThread(node3:2181):ClientCnxn$SendThread@1299] - Session establishment complete on server node3/192.168.252.123:2181, sessionid = 0x35e0d0716340000, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null

[zk: node1:2181,node2:2181,node3:2181(CONNECTED) 0]

从日志能够看出客户端成功链接的是node3 链接上哪台机器的zk进程是随机的

2017-08-23 11:08:10,361 [myid:] - INFO  [main-SendThread(node3:2181):ClientCnxn$SendThread@1032] - Opening socket connection to server node3/192.168.252.123:2181. Will not attempt to authenticate using SASL (unknown error)
Welcome to ZooKeeper!
JLine support is enabled

集群状态

$ for a in {1..3} ; do ssh node$a "source /etc/profile; /opt/zookeeper-3.4.9/bin/zkServer.sh status" ; done

响应

ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: follower
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: leader
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: follower

经过日志我能够看到 node2 leader (ps 是老大)，其余 node1 ,node2 follower (ps 都是小弟)

Leader 怎么选举的能够参考《Zookeeper的Leader选举》

中止集群

$ for a in {1..3} ; do ssh node$a "source /etc/profile; /opt/zookeeper-3.4.9/bin/zkServer.sh stop" ; done

响应

ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.9/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED

Contact

  • 做者：鹏磊
  • 出处：http://www.ymq.io
  • Email：admin@souyunku.com
  • 版权归做者全部，转载请注明出处
  • Wechat：关注公众号，搜云库，专一于开发技术的研究与知识分享

关注公众号-搜云库

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程