Spark 解析 : DAGScheduler中的DAG划分与提交

一：Spark 运行架构图片 二：Spark 运行架构 各个RDD之间存在着依赖关系，这些依赖关系造成有向无环图DAG，DAGScheduler对这些依赖关系造成的DAG，进行Stage划分，划分的规则很简单，从后往前回溯，遇到窄依赖加入本stage，碰见宽依赖进行Stage切分。完成了Stage的划分,DAGScheduler基于每一个Stage生成TaskSet,并将TaskSet提交给Tas

>>阅读原文<<