MapReduce Shuffle原理分析

MapReduce Shuffle Shuffle简介 ​ shuffle的本意是洗牌，把一组有规则的数据打乱成无规则的数据。而在MR中，Shuffle更像是洗牌的逆过程，指的是将map端的无规则数据按指定规则打乱“打乱”成具有一定规则的数据，以便reduce端接收处理。 ​ 在shuffle之前，也就是在map阶段，MapReduce会对要处理的数据进行分片(split)操作，为每一个分片分配一

>>阅读原文<<