MapReduce--------MapReduce 的 Shuffle 机制

1、MapReduce 的 Shuffle 机制 1.1、概述 1、MapReduce 中,mapper 阶段处理的数据如何传递给 reducer 阶段,是 MapReduce 框架中 最关键的一个流程,这个流程就叫 Shuffle 2、Shuffle: 数据混洗 ——(核心机制:数据分区,排序,局部聚合,缓存,拉取,再合并 排序) 3、具体来说:就是将 MapTask 输出的处理结果数据,按照
相关文章
相关标签/搜索