基于ZooKeeper实现HA高可用性以及自动主备切换

默认状况下,standalone cluster manager对于worker节点的失败是具备容错性的(迄今为止,Spark自身而言对于丢失部分计算工做是有容错性的,它会将丢失的计算工做迁移到其余worker节点上执行)。然而,调度器是依托于master进程来作出调度决策的,这就会形成单点故障:若是master挂掉了,就无法提交新的应用程序了。为了解决这个问题,spark提供了两种高可用性方案,
相关文章
相关标签/搜索