Spark作业基本运行原理

使用spark-submit提交spark作业，启动相应的Driver进程，本地或工作节点 driver进程向集群管理器（standalone）申请运行spark作业所需的资源（Executor进程） 在各个工作节点启动一定数量的executor进程，每个进程占有一定数量内存核CPU Driver进程调度spark作业：spark作业根据shuffle类算子被分为多个stage，每个stage创建

>>阅读原文<<