MapReduce工作原理

MapReduce2.0运行流程 MapReduce2.0比之前最大的改动就是加入了yarn，具体的yarn工作机制请参考 yarn的工作机制  MapReduce工作原理  首先程序根据InputFormat将输入文件分成多个spilts，每个spilt对应一个map task的输入 接下来就是MapReduce的shuffle过程，具体来说shuffle过程就是从map产生输出到reduce消

>>阅读原文<<