Hadoop之Shuffle机制详解

1.什么是Shuffle机制 1.1）在Hadoop中数据从Map阶段传递给Reduce阶段的过程就叫Shuffle，Shuffle机制是整个MapReduce框架中最核心的部分。 1.2）Shuffle翻译成中文的意思为：洗牌、发牌（核心机制：数据分区、排序、缓存) 2.Shuffle的作用范围 一般把数据从Map阶段输出到Reduce阶段的过程叫Shuffle，所以Shuffle的作用范围是M

>>阅读原文<<