Hadoop---shuffle

MapReduce中Shuffle概念 MapReduce中Map阶段处理数据是如何传递给Reduce端，这个过程是MapReduce框架中最关键的一个流程这个流程就是Shuffle， shuffle：洗牌，发牌。在MapReduce中shuffle的和新机制是：数据分区，排序，缓存 具体来说就是将MapTask输入的处理结果数据，分发给Reduce Task并在分发的过程中面对数据按key进行分

>>阅读原文<<