分布式协调组件ZooKeeper的技术理论剖析-综合组件环境实战

本套技术专栏是做者(秦凯新)平时工做的总结和升华,经过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。QQ邮箱地址:1120746959@qq.com,若有任何学术交流,可随时联系。node

1 分布式协调技术理论

假设A系统发送个请求到mq,而后B消息消费以后进行处理,那A系统如何知道B系统的处理结果?用zk就能够实现分布式系统之间的协调工做。A系统发送请求以后能够在zk上对某个节点的值注册个监听器,一旦B系统处理完了就修改zk那个节点的值,A立马就能够收到通知,最终实现两个系统协调运行(好比B失败了,A监听不到后就会启动重发)。分布式

2 分布式锁技术理论

对同一个数据连续发出两个修改操做,两台机器同时收到了请求,可是只能一台机器先执行另一个机器再执行。那么此时就可使用zk分布式锁,一个机器接收到了请求以后先获取zk上的一把分布式锁,就是能够去建立一个znode,接着执行操做;而后另一个机器也尝试去建立那个znode,结果发现本身建立不了,由于被别人建立了。。。。那只能等着,等第一个机器执行完了本身再执行。oop

3 元数据/配置信息管理

zk能够用做不少系统的配置信息的管理,好比kafka、storm等等不少分布式系统都会选用zk来作一些元数据、配置信息的管理,包括dubbo注册中心一样支持zk。大数据

4 HA高可用性

好比hadoop、hdfs、yarn等不少大数据系统,都选择基于zk来开发HA高可用机制,就是一个重要进程通常会作主备两个,主进程挂了立马经过zk感知到切换到备用进程3d

5 总结

结合大数据在咱们工业大数据平台的实践,总结成一篇实践指南,方便之后查阅反思,后续我会根据本篇博客进行代码技术实践实现。orm

秦凯新 2019030102120cdn

相关文章
相关标签/搜索