简单搞定spark的shuffle流程

Shuffle原理剖析与源码分析 一、在Spark中，什么状况下，会发生shuffle？reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等操做。 二、默认的Shuffle操做的原理剖析 三、优化后的Shuffle操做的原理剖析 四、Shuffle相关源码分析 普通的shuffle： 优化后的shuffle： spark shuffle

>>阅读原文<<