Spark（十）Spark Shuffle原理及参数调优

目录 1 Shuffle原理 1.1 MapReduce的shuffle原理 1.1.1 map task端操作 1.1.2 reduce task端操作 1.2 Spark现在的SortShuffleManager 1.2.1 SortShuffleManager运行原理 1.2.2 普通运行机制 1.2.3 bypass机制 2 Shuffle操作问题解决 　　2.1 数据倾斜原理      

>>阅读原文<<