Mapreduce Shuffle运行机制

概念: mapreduce中 map阶段处理的数据传递给reduce阶段是mp框架中最关键的一个流程 叫做shuffle shuffle :洗牌  核心机制 :数据分区 排序 缓存 其实就是将maptask 输出的处理的结果数据分发给reducetask 分发的过程中进行了分区排序 shuffle 是MR处理中额一个流程  每一个处理步骤是分散在各个maptask 和reducetask上完成的

>>阅读原文<<