shuffle流程理解

 shuffle流程理解   什么是shuffle流程？   MapReduce确保每个reducer的输入都是按键排序的。系统执行排序，将map输出作为输入传给reducer的过程称为shuffle.   简单来说就是：从map输出开始，到reduce输入之前这个阶段。   如下图所示：   如图所示大致分为5个阶段： 1.Collect阶段 2.Spill阶段 3.Merge阶段 （属于Map

>>阅读原文<<