Spark技术内幕：Shuffle的性能调优

2019独角兽企业重金招聘Python工程师标准>>> 通过上面的架构和源码实现的分析，不难得出Shuffle是Spark Core比较复杂的模块的结论。它也是非常影响性能的操作之一。因此，在这里整理了会影响Shuffle性能的各项配置。尽管大部分的配置项在前文已经解释过它的含义，由于这些参数的确是非常重要，这里算是做一个详细的总结。 1.1.1  spark.shuffle.manager 前文

>>阅读原文<<