MapReduce框架中的Shuffle机制

Shuffle是map和reduce中间的数据调度过程，包括：缓存、分区、排序等。html Shuffle数据调度过程：git map task处理hdfs文件，调用map()方法，map task的collect thread将map()方法结果放入环形缓冲区(默认大小100M) 当环形缓冲区达到阈值(80%)，将会触发溢出操做，split thread线程会调用HashPartitioner或

>>阅读原文<<