第12课:spark高可用(HA)框架

worker管理资源:内存,cpu 只有standby模式的master变成active模式时才能想集群提交任务,master切换过程不会影响程序的运行 原因:程序在具体运行之前已经向集群申请过资源,这些资源已经提交给driver了,也就是说已经分配好资源了,这是粗粒度分配,一次性分配资源后不需要再关心资源分配,在运行时让executor和driver自动交互,弊端是如果资源分配太多,任务运行完不
相关文章
相关标签/搜索