MapReduce-Shuffle机制运行解析

概述 在MapReduce（分布式计算框架，底层依赖HDFS）中，map阶段经过处理输出的数据怎样传递给reduce并保证reduce的输入都是按键排序好的，在MR中是极为关键的一个流程，这个流程叫做Shuffle，也称之为“洗牌”。可以说，Shuffle是整个MR的心脏。 Shuffle的结构 Shuffle是MR处理流程中的一个过程，连接了map task和reduce task，它的每一个处

>>阅读原文<<