MR的shuffer过程

1.概述  v mapreduce中,map阶段处理的数据如何传递给reduce阶段,是mapreduce框架中最关键的一个流程,这个流程就叫shuffle; 通俗的讲, Shuffle描述着数据从map task输出到reduce task输入的这段过程  v shuffle: 洗牌、发牌——(核心机制:数据分区,排序,缓存);  v 具体来说:就是将maptask输出的处理结果数据,分发给re
相关文章
相关标签/搜索