MapReduce （Shuffle,partition,combiner,Spill )

一、shuffle介绍 1 、shuffle就是洗牌弄乱的意思，shuffle代表map 输出 到reduce 的整个过程，他解决的问题就是如何将多个map task的输出，作为多个reduce task 的输入，下面就来看看shffler是如何对map的输出结果排序，处理，分组成reduce的输入的。 2 、shuffle和partition和combiner的关系是包含关系，shuffle过程

>>阅读原文<<