Hadoop 学习研究(四)：MapReduce shuffle过程剖详解及参数配置调优

MapReduce简介      在Hadoop  MapReduce中，框架会确保reduce收到的输入数据是根据key排序过的。数据从Mapper输出到Reducer接收，是一个很复杂的过程，框架处理了全部问题，并提供了不少配置项及扩展点。一个MapReduce的大体数据流以下图：java   更详细的MapReduce介绍参考Hadoop MapReduce技术内幕算法 Mapper的输出排

>>阅读原文<<