MapReducec执行过程分几个阶段

宏观上MapReduce可以分为以下三个阶段,如下图1所示。 阶段1:input/map/partition/sort/spill 阶段2:mapper端merge 阶段3:reducer端merge/reduce/output       1、split阶段: 此阶段,每个输入文件被分片输入到map。如一个文件有200M,默认会被分成2片,因为每片的默认最大值和每块的默认值128M相同。 如果输
相关文章
相关标签/搜索