spark任务提交的四个阶段和stage的流程

spark任务提交的四个阶段 1、构建DAG 用户提交的job将首先被转换成一系列RDD并通过RDD之间的依赖关系构建DAG,然后将DAG提交到调度系统； 2、DAGScheduler将DAG切分stage（切分依据是shuffle）,将stage中生成的task以taskset的形式发送给TaskScheduler 3、Scheduler 调度task（根据资源情况将task调度到Executo

>>阅读原文<<