58、Spark性能优化之reduceByKey和groupByKey

groupByKey val counts = pairs.groupByKey().map(wordCounts => (wordCounts._1, wordCounts._2.sum)) groupByKey工作原理.png groupByKey的性能，相对来说，是有问题的 因为，它是不会进行本地聚合的，而是原封不动的，把ShuffleMapTask的输出，拉取到ResultTask的内存中

>>阅读原文<<