MapReduce(五) mapreduce的shuffle机制 与 Yarn

 一、shuffle机制    1、概述 （1）MapReduce 中， map 阶段处理的数据如何传递给 reduce 阶段，是 MapReduce 框架中最关键的一个流程，这个流程就叫 Shuffle； （2）Shuffle: 数据混洗 ——（核心机制：数据分区，排序，缓存）； （3） 具体来说：就是将 maptask 输出的处理结果数据，分发给 reducetask，并在分发的过程 中，

>>阅读原文<<