Spark(13) -- DAG的生成以及Shuffle的过程

1. 什么是DAG  DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就形成了 DAG，根据RDD之间依赖关系的不同将DAG划分成不同的Stage(调度阶段)。对于窄依赖， partition的转换处理在一个Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能在 parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分S

>>阅读原文<<