Spark的两种核心shuffle是什么？

spark的Shuffle有Hash Shuffle和Sort Shuffle两种。 在Spark 1.2之前，默认的shuffle计算引擎是HashShuffleManager。 　　HashShuffleManager有着一个很是严重的弊端，就是会产生大量的中间磁盘文件，进而由大量的磁盘IO操做影响了性能。所以在Spark 1.2之后的版本中，默认的ShuffleManager改为了SortS

>>阅读原文<<