MapReduce执行原理

MapReduce执行任务一般包括输入分片、Map、Shuffle、Reduce等阶段，其执行原理如下图所示： 图片来源于《离线和实时大数据开发实战》 输入分片：在进行Map计算之前，MapReduce会根据输入文件计算输入分片，每个输入分片对应一个Map任务。 Map阶段：在Map阶段，各个Map任务会接收到所分配的分片，并调用Map函数，逐行执行并输出键值对。 Combiner阶段：Combi

>>阅读原文<<