大数据——hadoop - MapReduce - Shuffle

MapReduce - Shuffle 对Map的结果进行排序并传输到Reduce进行处理 Map的结果并不#x662F;直接存放到硬盘,而是利用缓存做一些预排序处理 Map会调用Combiner，压缩，按key进行分区、排序等，尽量减少结果的大小 每个Map完成后都会通知Task，然后Reduce就可以进行处理 Map端 当Map程序开始产生结果的时候，并不是直接写到文件的，而是利用缓存做一些排

>>阅读原文<<