十三、shuffle原理与源码剖析

1. 默认shuffle原理图 上图中，有两个节点，第一个节点上运行了4个ShuffleMapTask，第二个节点上运行了4个ResultTask。ResultTask要去拉取ShuffleMapTask的输出数据，来完成比如reduceBykey等类型的shuffle操作。 每个ShuffleMapTask都会为每个ResultTask创建一份bucket缓存，以及对应的ShuffleBlock

>>阅读原文<<