standalone 模式
Spark standalone模式是spark很常见的一种模式,集群角色分为Master,Worker,Driver三个端。
- Master端是集群的大脑,负责协调,分配资源给worker。
- Worker端是集群“办事的人”,主要接受Master的调度,以及driver端传来的task的执行。
- Driver端是指提交spark-submit的服务器,主要会将提交的程序分为多个的task,交由worker端执行。
具体流程如图所示:
其中的红框分别是stage划分算法,master资源调度算法,task分配算法。