【Spark篇】---Spark中Shuffle机制，SparkShuffle和SortShuffle

一、前述 Spark中Shuffle的机制可以分为HashShuffle,SortShuffle。 SparkShuffle概念 reduceByKey会将上一个RDD中的每一个key对应的所有value聚合成一个value，然后生成一个新的RDD，元素类型是<key,value>对的形式，这样每一个key对应一个聚合起来的value。 问题：聚合之前，每一个key对应的value不一定都是在一个

>>阅读原文<<