hadoop Shuffle

对Map的结果进行排序并传输到Reduce 进行处理，Map的结果并不是直接存放到硬盘，而是利用缓存做一些预排序处理Map 会调用Combiner ，压缩，按key 进行分区，排序等，尽量减少结果的大小，每个Map 完成后都会通知Task，然后Reduce 就可以进行排序。 Map 端 当Map 程序开始产生结果的时候，并不是直接写到文件的，而是·利用缓存做一些排序方面的预处理 每个Map 任务都

>>阅读原文<<