spark2.11 资源调度流程(cluster模式下Driver、Executor的调度)

Spark只有在cluster模式下启动时,才会有Driver的资源调度,如果在client模式下启动,Driver就在提交Job的机器上启动。 资源调度指的是应用程序获得的计算资源,任务调度是在资源调度的基础上进行的。 Master是负责资源调度和管理的,每次有新的应用程序或者集群资源发生变化的时候都会重新资源调度(也就是schedule()方法的执行); 发生资源变化的动作有:Register
相关文章
相关标签/搜索