spark任务提交的四个阶段和stage的流程

spark任务提交的四个阶段 一、构建DAG 用户提交的job将首先被转换成一系列RDD并经过RDD之间的依赖关系构建DAG,而后将DAG提交到调度系统；web 二、DAGScheduler将DAG切分stage（切分依据是shuffle）,将stage中生成的task以taskset的形式发送给TaskScheduler 三、Scheduler 调度task（根据资源状况将task调度到Exec

>>阅读原文<<