Hadoop中的shuffle过程总结

shuffle总结     shuffle是mapreduce编程模型中链接map阶段和reduce阶段的最重要环节。是Reduce Task从Map Task拉取数据的一个过程。除了自定义的map和reduce函数，剩下的几乎都是由框架帮咱们完成。而shuffle就是发生在咱们自定义map函数输出<k2,v2>到reduce自定义函数获取<k2,v2s>的过程，中间的处理过程对咱们来讲几乎是透明

>>阅读原文<<