Spark内核剖析1---Spark standalone模式提交任务过程

standalone 模式

Spark standalone模式是spark很常见的一种模式,集群角色分为Master,Worker,Driver三个端。

  • Master端是集群的大脑,负责协调,分配资源给worker。
  • Worker端是集群“办事的人”,主要接受Master的调度,以及driver端传来的task的执行。
  • Driver端是指提交spark-submit的服务器,主要会将提交的程序分为多个的task,交由worker端执行。

具体流程如图所示:
在这里插入图片描述 其中的红框分别是stage划分算法,master资源调度算法,task分配算法。