Map Reduce中的Shuffle大致流程

在mapreduce中，shuffle指把map输出转化为reduce的输入的过程 shuffle官方流程图，其中黑线部分为shuffle： shuffle运行步骤： 1.map输出后会先经过一个圆形内存缓冲区，用于存储输出的键值对 （默认大小100MB，mapreduce.task.io.sort.mb调整），一旦达到阈值（默认0.8，mapreduce.task.io.sort.percent

>>阅读原文<<