MapReduce 程序内部数据处理流程全解析

主要分为以下几个阶段： 1. 输入分片（input split）： InputFormat有两个任务：对源文件分片，确定Mapper数量；对分片进行格式化，处理成<key,value>形式的数据给Mapper 在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务，输入分片（input split）存储

>>阅读原文<<