Mapreduce框架-shuffle

1.shuffle简介 shuffle的正常意思是洗牌或弄乱。它只代表reduce task获取map task的输出的过程，也可以理解为从map输出到reduce输入的整个过程。shuffle是MR的核心，也有把它称为奇迹发生的地方。这样MR的过程可以简化为下图 将MR简化过程图进行细化，就有了那张经典流程图 2.shuffle过程包含的阶段 把map阶段完成数据的程序处理到reduce阶段开始

>>阅读原文<<