Spark调度机制：4)阶段划分

阶段划分是做业调度过程的关键所在，首先探讨下Spark是如何进行阶段划分的。java 一个阶段划分的例子以下图所示，用虚线表示一个阶段，虚线框内全部的RDD都是为了实现该阶段而须要被计算的数据。整个做业最后一个RDD的全部分区数据被计算完毕对于的阶段就是所求的末阶段。函数 沿着RDD的依赖关系往前进行深度优先遍历，若遇到一个Shuffle依赖，依赖的每个父RDD全部分区数据都计算完毕能够分别对应一

>>阅读原文<<