MapReduce shuffle过程详解

MapReduce简介 在Hadoop MapReduce中，框架会确保reduce收到的输入数据是根据key排序过的。数据从Mapper输出到Reducer接收，是一个很复杂的过程，框架处理了所有问题，并提供了很多配置项及扩展点。一个MapReduce的大致数据流如下图： Mapper的输出排序、然后传送到Reducer的过程，称为shuffle。本文详细地解析shuffle过程，深入理解这个过

>>阅读原文<<