mapreduce的核心--shuffle理解，以及在shuffle中的优化

关于shuffle的过程图。 　　   一：概述shuffle 　　Shuffle是mapreduce的核心，链接map与reduce的中间过程。 　　Mapp负责过滤分发，而reduce则是归并整理，从mapp输出到reduce的输入的这个过程称为shuffle过程。   二：map端的shuffle　 1.map结果的输出 　　map的处理结果首先存放在一个环形的缓冲区。 　　这个缓冲区的内存

>>阅读原文<<