MapReduce执行流程Shuffle

Shuffle: *洗牌或者弄乱的意思 *Collections.shuffle(List):随机得打乱参数里的元素顺序 *MapReduce里Shuffle:描述着数据从map task输出到reduce task输入的这段过程 下面就详细介绍Shuffle这段过程: *map task输出的<key,value>对，首先先放在内存(memory)中，然后会spill,溢写到磁盘中，即在内存中溢

>>阅读原文<<