Spark Shuffle 的过程

shuffle 的核心要点 shuffleMapStage 与 ResultStage 在划分 stage 时，最后一个stage 成为 finalStage,它本质上是 resultstage 对象，前面的所有的 stage 被称为 shuffleMapStage。 shuffleMapStage 的结束伴随着 shuffle 文件的写磁盘。 ResultStage 基本上对应着代码中的 act

>>阅读原文<<