MapReduce--------MapReduce 的 Shuffle 机制

一、MapReduce 的 Shuffle 机制 1.一、概述 一、MapReduce 中,mapper 阶段处理的数据如何传递给 reducer 阶段,是 MapReduce 框架中 最关键的一个流程,这个流程就叫 Shuffle算法 二、Shuffle: 数据混洗 ——(核心机制:数据分区,排序,局部聚合,缓存,拉取,再合并 排序)编程 三、具体来讲:就是将 MapTask 输出的处理结果数据
相关文章
相关标签/搜索