Mapreduce框架-shuffle

1.shuffle简介 shuffle的正常意思是洗牌或弄乱。它只表明reduce task获取map task的输出的过程，也能够理解为从map输出到reduce输入的整个过程。shuffle是MR的核心，也有把它称为奇迹发生的地方。这样MR的过程能够简化为下图 将MR简化过程图进行细化，就有了那张经典流程图 web 2.shuffle过程包含的阶段 把map阶段完成数据的程序处理到reduce

>>阅读原文<<