MapReduce的shuffle过程详解（分片、分区、合并、归并。。。）

shuffle过程 shuffle概念 shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽可能打乱成无规则的数据。而在MapReduce中，shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具备必定规则的数据，以便reduce端接收处理。其在MapReduce中所处的工做阶段是map输出后到reduce接收前，具体能够分为map端和reduce端先后两个

>>阅读原文<<