MapReduce执行过程简要总结

宏观上MapReduce可以分为以下三个阶段,如下图1所示。 阶段1：input/map/partition/sort/spill 阶段2：mapper端merge 阶段3：reducer端merge/reduce/output 图1 MapReduce执行过程 以下分别对上述三个阶段详解。首先是Mapper端的执行逻辑，主要包含以下三点，如图2所示： 1. 将key/value/Partitio

>>阅读原文<<