分布式协调服务zookeeper总结
1.zookeeper简介
1.1简介
Zookeeper是一个分布式协调服务，换言之，就是为用户的分布式应用程序提供协调服务java
- zookeeper是为别的分布式程序服务的
- Zookeeper自己就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务）
- Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务
- 虽说能够提供各类服务，可是zookeeper在底层其实只提供了两个功能（管理数据和监听数据）： 管理(存储，读取)用户程序提交的数据； 并为用户程序提供数据节点监听服务；
1.2 Zookeeper集群的角色： Leader 和 follower
Zookeeper在配置文件中并无指定master和slave，启动以后经过内部的选举机制选举出leader和follower，并且只有一个leader，其余则为follower。zookeeper集群中只要有半数以上节点存活，集群就能提供服务。 2.zookeeper集群机制 半数机制：集群中半数以上机器存活，集群可用。 zookeeper适合装在奇数台机器上！！！node
2.zookeeper安装与配置
2.1zookeeper安装
- 安装到3台虚拟机上（须要提早安装好JDK） 将zookeeper压缩包上传至/apps/package目录并解压
tar -zxvf zookeeper-3.4.5.tar.gz
复制代码
- 重命名
mv zookeeper-3.4.5 zookeeper（重命名文件夹zookeeper-3.4.5为zookeeper）
复制代码
- 修改环境变量
vi /etc/profile
添加内容：
export ZOOKEEPER_HOME=/apps/package/zookeeper
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin
复制代码
- 从新编译文件： source /etc/profile 三台机器都须要修改
2.2 修改配置文件
- 先复制一份 cd zookeeper/conf cp zoo_sample.cfg zoo.cfg
- 编辑 vi zoo.cfg
添加内容：
dataDir=/apps/package/zookeeper/data
dataLogDir=/apps/package/zookeeper/log
server.1=mini1:2888:3888
server.2=mini2:2888:3888
server.3=mini3:2888:3888
复制代码
- 建立文件夹：
cd /apps/package/zookeeper
mkdir -m 755 data
mkdir -m 755 log
复制代码
- 在data文件夹下新建myid文件，myid的文件内容为：
cd data
vi myid
添加内容：
1
复制代码
mini2和mini3服务器的请修改为2,3，未来会按这个myid选中出leader和follow。linux
- 将集群复制到其余机器上
scp -r /apps/package/zookeeper root@mini2:/apps/package/
scp -r /apps/package/zookeeper root@mini3:/apps/package/
复制代码
若是在mini1中ping不通mini2和mini3,须要在hosts文件中配置mini2和mini3的ip地址apache
- 修改其余机器的配置文件 到mini2上：修改myid为：2 到mini3上：修改myid为：3 并且/etc/profile的路径也不要忘了修改
- 启动（每台机器）
zkServer.sh start
zkServer.sh start-foreground(能够看到启动日志)
复制代码
- 查看集群状态
jps（查看进程）
zkServer.sh status（查看集群状态，主从信息）
复制代码
若是报端口占用，参考下面连接解决：http://blog.csdn.net/u014686180/article/details/51767863api
3.zookeeper数据结构和经常使用操做
3.1zookeeper特性
- Zookeeper：一个leader，多个follower组成的集群
- 全局数据一致：每一个server保存一份相同的数据副本，client不管链接到哪一个server，数据都是一致的
- 分布式读写，更新请求转发，由leader实施
- 更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行
- 数据更新原子性，一次数据更新要么成功，要么失败
- 实时性，在必定时间范围内，client能读到最新数据
3.2zookeeper数据结构
- 层次化的目录结构;
- 每一个节点在zookeeper中叫作znode,而且其有一个惟一的路径标识;
- 节点Znode能够包含数据和子节点（可是EPHEMERAL类型的节点不能有子节点）;
- 客户端应用能够在节点上设置监视器。
3.3节点类型
- Znode有两种类型： 短暂（ephemeral）（断开链接本身删除） 持久（persistent）（断开链接不删除）
- Znode有四种形式的目录节点（默认是persistent ） PERSISTENT PERSISTENT_SEQUENTIAL（持久序列/test0000000019 ） EPHEMERAL EPHEMERAL_SEQUENTIAL
- 建立znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护
- 在分布式系统中，顺序号能够被用于为全部的事件进行全局排序，这样客户端能够经过顺序号推断事件的顺序
使用客户端操做节点
- 使用命令链接zookeeper服务端：
zkCli.sh -主机名(ip):2181
如：zkCli.sh -mini2:2181
复制代码
- 使用 ls 命令来查看当前 ZooKeeper 中所包含的内容：
ls /
复制代码
- 建立一个新的 znode ，使用 create /zk myData 。这个命令建立了一个新的 znode 节点“ zk ”以及与它关联的字符串：
create /zk "myData“ 复制代码
- 咱们运行 get 命令来确认 znode 是否包含咱们所建立的字符串：
get /zk
复制代码
-监听这个节点的变化,当另一个客户端改变/zk时,输出监听到的变化bash
get /zk watch
复制代码
- 使用set 命令来对 zk 所关联的字符串进行设置：
set /zk "zsl“ 复制代码
- 使用delete删除 znode 节点：
delete /zk
复制代码
- 删除节点(与上面的区别是这个能够删除目录)：rmr
rmr /zk
复制代码
参考文档：http://www.cnblogs.com/likehua/tag/zookeeper/服务器
4.使用java操做zookeeper的api
- 首先须要引入zookeeper的jar包，这个jar包须要依赖其它的jar，能够直接到maven仓库下载。
<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>3.4.10</version>
<type>pom</type>
</dependency>
复制代码
- 经常使用的增删查改api操做以下： create 在目录树中建立一个节点 delete 删除一个节点 exists 测试是否存在目标节点 get/set data 从目标节点上读取 / 更新数据 get/set ACL 获取 / 设置目标节点访问控制列表信息 get children 检索一个子节点上的列表 sync 等待要被传送的数据 使用java操做代码以下：
public class SimpleZkClient {
private static final String CONNECT_URL = "mini1:2181,mini2:2181,mini3:2181";
private static final int SESSION_TIME_OUT = 2000;
ZooKeeper zkCli = null;
@Before
public void init() throws Exception{
zkCli = new ZooKeeper(CONNECT_URL, SESSION_TIME_OUT, new Watcher() {
@Override
public void process(WatchedEvent event) {
System.out.println(event.getType()+"-----------"+event.getPath());
try{
zkCli.getChildren("/", true);
}catch (Exception e){
}
}
});
}
/**
* @Description 添加节点数据
* @Author 刘俊重
*/
@Test
public void create() throws Exception{
// 参数1：要建立的节点的路径 参数2：节点大数据 参数3：节点的权限 参数4：节点的类型。上传的数据能够是任何类型，但都要转成byte[]
String s = zkCli.create("/zk", "test".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
}
/**
* @Description 判断节点是否存在
* @Author 刘俊重
*/
@Test
public void isExist() throws Exception{
Stat exists = zkCli.exists("/zk", false);
System.out.println(null==exists?"不存在":"存在");
}
/**
* @Description 获取节点数据
* @Author 刘俊重
*/
@Test
public void getData() throws Exception{
byte[] data = zkCli.getData("/zk", false, null);
System.out.println("节点数据："+new String(data));
}
/**
* @Description 遍历节点数据
* @Author 刘俊重
*/
@Test
public void getChildren() throws Exception{
List<String> children = zkCli.getChildren("/", false);
for(String s : children){
System.out.println("节点名称："+s);
}
Thread.sleep(Long.MAX_VALUE);
}
/**
* @Description 删除节点数据
* @Author 刘俊重
*/
@Test
public void delete() throws Exception{
//参数2：指定要删除的版本，-1表示删除全部版本
zkCli.delete("/zk",-1);
this.isExist();
}
/**
* @Description 更新节点数据
* @Author 刘俊重
*/
@Test
public void update() throws Exception{
Stat stat = zkCli.setData("/zk", "newtest".getBytes(), -1);
this.getData();
}
}
复制代码
Thread.sleep(Long.MAX_VALUE);是为了避免让程序执行完以后立马结束，让它睡一会，测试监听是否实现，同时在process回调函数中写了收到通知的操做， zkCli.getChildren("/", true);这时若是咱们经过linux命令行操做了zookeeper操做节点就会触发这里的监听事件。数据结构
5.zookeeper的使用场景
5.1场景一：客户端动态感知服务端节点变化，实现高可用
如今假设有这样一种需求：服务端节点有多个，能够动态的上下线；须要让任意一台客户端都能实时感知服务端节点的变化，进而链接目前可提供服务的节点。 实现思路：咱们能够借助于zookeeper这个第三方中间件，在每台服务器启动时都向zookeeper注册服务器的节点信息（好比：/servers/server01;/servers/server02）；客户端每次调用以前都经过getChildren方法获取最新的服务器节点信息，同时客户端在zookeeper注册监听，监听服务器节点的变化；若是某刻服务器server01下线了，zookeeper就会发出节点变化通知客户端，回调process方法拉取最新的服务器节点信息。 服务端代码以下：app
public class DistributeServer {
private static final String CONNECT_URL = "mini1:2181,mini2:2181,mini3:2181";
private static final int SESSION_TIME_OUT = 2000;
private static final String PARENT_NODE = "/servers";
private ZooKeeper zkCli = null;
/**
* @Description 获取链接
* @Author 刘俊重
* @Date 2017/12/13
*/
public void getConnect() throws Exception{
zkCli = new ZooKeeper(CONNECT_URL, SESSION_TIME_OUT, new Watcher() {
@Override
public void process(WatchedEvent event) {
System.out.println(event.getType()+"-----------"+event.getPath());
try{
zkCli.getChildren("/", true);
}catch (Exception e){
}
}
});
}
/**
* @Description 服务器启动时向zookeeper注册服务信息
* @Author 刘俊重
* @Date 2017/12/13
*/
public void registerServer(String hostName) throws Exception {
String s = zkCli.create(PARENT_NODE + "/", hostName.getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
System.out.println("服务器："+hostName+"已经注册完毕");
}
/**
* @Description 模拟实际的业务操做
* @Author 刘俊重
* @Date 2017/12/13
*/
public void handelBusiness(String hostname) throws Exception {
System.out.println("服务器："+hostname+"正在处理业务。。。");
Thread.sleep(Long.MAX_VALUE);
}
public static void main(String[] args) throws Exception {
DistributeServer server = new DistributeServer();
server.getConnect();
server.registerServer(args[0]);
server.handelBusiness(args[0]);
}
}
复制代码
客户端代码以下：dom
/**
* @author 刘俊重
* @Description 模拟客户端，拉取最新服务器节点列表并向zookeeper设置监听
*/
public class DistributeClient {
private static final String CONNECT_URL = "mini1:2181,mini2:2181,mini3:2181";
private static final int SESSION_TIME_OUT = 2000;
private static final String PARENT_NODE = "/servers";
private ZooKeeper zkCli = null;
private volatile List<String> serverList = null;
/**
* @Description 获取链接
* @Author 刘俊重
* @Date 2017/12/13
*/
public void getConnect() throws Exception{
zkCli = new ZooKeeper(CONNECT_URL, SESSION_TIME_OUT, new Watcher() {
@Override
public void process(WatchedEvent event) {
// 收到事件通知后的回调函数（应该是咱们本身的事件处理逻辑）
System.out.println(event.getType()+"-----------"+event.getPath());
try{
//从新更新服务器列表，而且注册了监听
getServerList();
}catch (Exception e){
}
}
});
}
/**
* @Description 获取服务器子节点信息，并对父节点进行监听
* @Author 刘俊重
*/
public void getServerList() throws Exception {
List<String> children = zkCli.getChildren(PARENT_NODE, true);
List<String> servers = new ArrayList<String>();
for(String child : children){
// child只是子节点的节点名
byte[] data = zkCli.getData(PARENT_NODE + "/" + child, false, null);
servers.add(new String(data));
}
//把servers赋值给成员变量serverList，以提供给各业务线程使用
serverList = servers;
System.out.println("节点数据："+serverList);
}
/**
* @Description 模拟实际的业务操做
* @Author 刘俊重
* @Date 2017/12/13
*/
public void handelBusiness() throws Exception {
System.out.println("客户端开始工做。。。");
Thread.sleep(Long.MAX_VALUE);
}
public static void main(String[] args) throws Exception {
DistributeClient client = new DistributeClient();
client.getConnect();
client.getServerList();
client.handelBusiness();
}
}
复制代码
5.2场景二：分布式锁实现
假设如今集群中有50台机器对某台机器上的同一文件进行修改，如何才能保证这个文件不会被写乱呢，使用java中的synchronized锁确定是不行的，由于这个锁是对某个程序而言的，而咱们这根本就不是在一个服务器上，怎么会锁的住，用zookeeper实现的分布式锁能够实现。 设计思路：服务器启动时都去zookeeper上注册一个“短暂+序号”的znode节点（如/lock/1;/lock/2），并设置监听父节点变化；获取到父节点下全部子节点，并比较序号的大小；约定好比序号最小的获取锁，去操做某一文件，操做完成后删除本身的节点（至关于释放锁），并注册一个新的“短暂+序号”的znode节点；其它程序收到zookeeper发送的节点变化的通知以后，去比较序号的大小，看谁得到新锁。
public class DistributedClientLock {
// 会话超时
private static final int SESSION_TIMEOUT = 2000;
// zookeeper集群地址
private String hosts = "mini1:2181,mini2:2181,mini3:2181";
private String groupNode = "locks";
private String subNode = "sub";
private boolean haveLock = false;
private ZooKeeper zk;
// 记录本身建立的子节点路径
private volatile String thisPath;
/**
* 链接zookeeper
*/
public void connectZookeeper() throws Exception {
zk = new ZooKeeper(hosts, SESSION_TIMEOUT, new Watcher() {
@Override
public void process(WatchedEvent event) {
try {
// 判断事件类型，此处只处理子节点变化事件
if (event.getType() == EventType.NodeChildrenChanged && event.getPath().equals("/" + groupNode)) {
//获取子节点，并对父节点进行监听
List<String> childrenNodes = zk.getChildren("/" + groupNode, true);
String thisNode = thisPath.substring(("/" + groupNode + "/").length());
// 去比较是否本身是最小id
Collections.sort(childrenNodes);
if (childrenNodes.indexOf(thisNode) == 0) {
//访问共享资源处理业务，而且在处理完成以后删除锁
doSomething();
//从新注册一把新的锁
thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
CreateMode.EPHEMERAL_SEQUENTIAL);
}
}
} catch (Exception e) {
e.printStackTrace();
}
}
});
// 一、程序一进来就先注册一把锁到zk上
thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
CreateMode.EPHEMERAL_SEQUENTIAL);
// wait一小会，便于观察
Thread.sleep(new Random().nextInt(1000));
// 从zk的锁父目录下，获取全部子节点，而且注册对父节点的监听
List<String> childrenNodes = zk.getChildren("/" + groupNode, true);
//若是争抢资源的程序就只有本身，则能够直接去访问共享资源
if (childrenNodes.size() == 1) {
doSomething();
thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
CreateMode.EPHEMERAL_SEQUENTIAL);
}
}
/**
* 处理业务逻辑，而且在最后释放锁
*/
private void doSomething() throws Exception {
try {
System.out.println("gain lock: " + thisPath);
Thread.sleep(2000);
} finally {
System.out.println("finished: " + thisPath);
//释放锁
zk.delete(this.thisPath, -1);
}
}
public static void main(String[] args) throws Exception {
DistributedClientLock dl = new DistributedClientLock();
dl.connectZookeeper();
Thread.sleep(Long.MAX_VALUE);
}
}
复制代码
参考文档：http://www.cnblogs.com/likehua/tag/zookeeper/
6 zookeeper的选举机制
6.1全新集群paxos
以一个简单的例子来讲明整个选举的过程. 假设有五台服务器组成的zookeeper集群,它们的id从1-5,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上,都是同样的.假设这些服务器依序启动,来看看会发生什么.
- 服务器1启动,此时只有它一台服务器启动了,它发出去的报没有任何响应,因此它的选举状态一直是LOOKING状态
- 服务器2启动,它与最开始启动的服务器1进行通讯,互相交换本身的选举结果,因为二者都没有历史数据,因此id值较大的服务器2胜出,可是因为没有达到超过半数以上的服务器都赞成选举它(这个例子中的半数以上是3),因此服务器1,2仍是继续保持LOOKING状态.
- 服务器3启动,根据前面的理论分析,服务器3成为服务器1,2,3中的老大,而与上面不一样的是,此时有三台服务器选举了它,因此它成为了此次选举的leader.
- 服务器4启动,根据前面的分析,理论上服务器4应该是服务器1,2,3,4中最大的,可是因为前面已经有半数以上的服务器选举了服务器3,因此它只能接收当小弟的命了.
- 服务器5启动,同4同样,当小弟.
6.2非全新集群的选举机制(数据恢复)
那么，初始化的时候，是按照上述的说明进行选举的，可是当zookeeper运行了一段时间以后，有机器down掉，从新选举时，选举过程就相对复杂了。 须要加入数据id、leader id和逻辑时钟。 数据id：数据新的id就大，数据每次更新都会更新id。 Leader id：就是咱们配置的myid中的值，每一个机器一个。 逻辑时钟：这个值从0开始递增,每次选举对应一个值,也就是说: 若是在同一次选举中,那么这个值应该是一致的 ; 逻辑时钟值越大,说明这一次选举leader的进程更新. 选举的标准就变成： 一、逻辑时钟小的选举结果被忽略，从新投票 二、统一逻辑时钟后，数据id大的胜出 三、数据id相同的状况下，leader id大的胜出 根据这个规则选出leader。
相关文章
- 1. 分布式协调服务-Zookeeper
- 2. 分布式协调服务之zookeeper（一）
- 3. ZooKeeper:分布式协调应用服务
- 4. 分布式协调服务-zookeeper
- 5. Zookeeper分布式服务协调组件
- 6. Zookeeper-分布式协调服务
- 7. 分布式协调服务---Zookeeper
- 8. 【架构】分布式协调服务-zookeeper
- 9. 分布式应用协调服务Zookeeper
- 10. Zookeeper 分布式协调服务介绍
- 更多相关文章...
- • 启动MySQL服务 - MySQL教程
- • Redis发布订阅模式 - Redis教程
- • 再有人问你分布式事务，把这篇扔给他
- • 常用的分布式事务解决方案
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
