简单搞定Shuffle机制运行原理

2.4.1 概述 1）mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle；缓存 2）shuffle: 洗牌、发牌（核心机制：数据分区、排序、缓存）；网络 3 ）具体来讲：就是将 maptask 输出的处理结果数据，分发给 reducetask ，并在分发的过程当中，对数据按 key 进行了分区和排序。 2.4

>>阅读原文<<