MapReduce 原理解析-Shuffle

概述 MapReduce 中， Map 阶段处理的数据如何传递给 Reduce 阶段，是 - MapReduce 框架中最关键的一个流程，这个流程就叫 Shuffleweb Shuffle： 数据混洗 ——（核心机制：数据分区，排序，缓存）缓存 具体来讲：就是将 MapTask 输出的处理结果数据，分发给 ReduceTask，并在分发的过程当中，对数据按 key 进行了分区和排序。框架 主要流程

>>阅读原文<<