从reduceByKey执行过程分析ShuffleReader

Spark是以Shuffle作为Stage的分界的，Shuffle分为ShuffleWrite和ShuffleRead两个过程。 ShuffleWriter负责将中间结果写到磁盘上，可以理解为是当前Stage结束的收尾操作；最后ShuffleRead用于读取ShuffleWrite生成的Shuffle文件，可以理解为它是下一个Stage开始的那个操作； 之前已经分析过三种ShuffleWrite的

>>阅读原文<<