我和spark有个约会（2）-spark 的shuffle过程

shuffle被称为是神奇发生的地方，分为三个部分了解下shuffle的过程： 概览，spark write，spark read 为什么需要 shuffle write 按照stage划分后的rdd： 详细的任务执行的流程： 从图上可以看出，有依赖的stage之间的数据互通，是通过上个stage的shufflemaptask write 之后，将源数据同步，再由下一个stage的shufflem

>>阅读原文<<