MapReduce的shuffle过程图解

简介 hadoop系列的学习总结针对的都是hadoop2.6.x版本来说的。 Mapreduce是一个分布式运算程序的编程框架，下面统一将MapReduce简称为mr。 为什么会出现mr？ （1） 海量数据在单机上处理因为硬件资源限制，无法胜任。 （2） 而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难度。 （3） 引入mapreduce框架后，开发人员可以将绝大部分工作集

>>阅读原文<<