ZooKeeper是一个开源的分布式协调服务,由雅虎建立,是Google Chubby的开源实现。ZooKeeper的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集,并以一系列简单易用的接口提供给用户使用;node
分布式一致性特性:
顺序一致性:严格按照其发起顺序
原子性
单一视图:不管链接的是哪一个ZK服务器,数据模型都是一致
可靠性
实时性:保证在必定的时间段内,Client最终能从Server读取到最新的数据状态
集群角色:
Leader (提供读和写服务)
Follower(提供读服务)
Observer(提供读服务,不参与Leader选举,也不参与写操做的『过半写成功』策略)算法
1.数据模型
树形结构,每一个节点ZNode,经过其路径惟一标识,跟Unix文件系统有些相似。ZNode可存储少许数据(默认是1M,能够经过配置修改,不建议ZNode上存储大量数据),还存储了其Acl信息;服务器
2.重要概念
节点
ZNode能够分为持久节点(persistent)和临时节点(ephemeral)两类;并发
Session
Client与Zookeeper之间的通讯会建立一个Session,经过心跳检测和服务器保持有效的会话,有超时时间,集群会持久化链接的Session信息;负载均衡
Watcher
事件监听器,用于监听znode事件(create、delete、update、get),一次性的,即触发一次就会被取消分布式
3.ZK特性
1.读写模式(读性能好,写须要Leader进行请求广播并有半数以上成功的ACK — 『过半写成功』策略)
2.WAL和Snapshot(i.write-ahead-log:先写WAL, 而后再对内存中的数据作更新,而后向Client通知更新结果;ii.按期将内存中的目录树进行Snapshot,落地到磁盘上;)
3.FIFO(i.通讯基于TCP;ii.请求是按照FIFO顺序)
4.Linearizability(有严格的偏序关系,更新操做是串行执行)高并发
4.Client API
create、delete、exists、getData、setData、getChildren、sync、setAcl、getAcl性能
5.应用场景
1. 命名服务(NameService) :经过简单的名字来访问指定的HDFS机群
2. 配置管理(Configuration Management) :统一配置(好比Job的多个实例配置信息),也就是数据发布与订阅;
3. 组员管理(Group Membership):新增节点和Slave宕机的调整
4. 简单互斥锁(Simple Lock) :broadcast(会形成羊群效应(Herd Effect))
5. 互斥锁(Simple Lock without Herd Effect):next(临时的顺序结点)
6. 读写锁(Read/Write Lock) :多个读能够并发执行,但写读写写互斥
7. 屏障(Barrier) :等待多个进程完成各自的任务,而后继续往前进行下一步
8. 双屏障(Double Barrier):它能够用来同步一个任务的开始和结束,当有足够多的进程进入屏障后,才开始执行任务;当全部的进程都执行完各自的任务后,屏障才撤销;spa
ZooKeeper是一个典型的分布式数据一致性的解决方案。具备数据发布/订阅、负载均衡、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能;.net
6.ZAB协议
ZooKeeper并无彻底采用Paxos算法,而是使用了一种称为ZooKeeper Atomic Broadcast(ZAB,ZooKeeper原子广播协议)的协议做为其数据一致性的核心算法;
ZAB协议并不像Paxos算法和Raft协议同样,是通用的分布式一致性算法,它是一种特别为ZooKeeper设计的崩溃可恢复的原子广播算法。
ZAB协议的两种基本模式:崩溃恢复和消息广播;
崩溃恢复模式包括两个阶段:
i.Leader选举和数据同步;
ii.退出恢复模式后进入消息广播模式;
Leader选举:
利用ZooKeepr的强一致性,可以很好地保证在分布式高并发状况下节点的建立必定可以保证全局惟一性,即ZooKeeper将会保证客户端没法建立一个已经存在的ZNode;
实现过程:多个客户端请求建立同一个临时节点,那么最终必定只有一个客户端请求可以建立成功。利用这个特性,就能很容易地在分布式环境中进行Master选举了;
Leader(Master) 选举的具体步骤:
一、客户端链接时,在指定的目录(这里假定为"/leader")建立一个EPHEMERAL_SEQUENTIAL的节点,把内网的IP数据存入建立节点。
二、获取目录的子点节,并取得序列号最小的节点,咱们把这个节点设置为leader。当此节点被删除时,证实leader断线。
三、其它机器监听leader节点,当leader节点的删除时,再取目录的最小子点节做为leader。
ZooKeeper原理及使用:http://www.wuzesheng.com/?p=2609
ZooKeeper原理与应用:https://www.jianshu.com/p/84ad63127cd1
Leader(Master)选举:https://blog.csdn.net/massivestars/article/details/53894551