Shuffle过程剖析及MapReduce性能优化

  Shuffle过程剖析及性能优化 MapReduce确保每个reducer的输入都按键排序。 Shuffle：系统执行排序的过程—将map输出作为输入传给reducer（如图1、图2）。 图1 图2 如图1、图2所示，从map输出到reduce输入就是shuffle阶段。但实际执行过程远比上图所示复杂。 Shuffle 是指从Map 产生输出开始，包括系统执行排序以及传送Map 输出到Redu

>>阅读原文<<