spark的shuffle详解

spark的shuffle两种实现 在Spark 1.2以前，默认的shuffle计算引擎是HashShuffleManager。该ShuffleManager而HashShuffleManager有着一个非常严重的弊端，就是会产生大量的中间磁盘文件，进而由大量的磁盘IO操作影响了性能。 在Spark 1.2以后的版本中，默认的ShuffleManager改成了SortShuffleManager

>>阅读原文<<