关于hadoop 的shuffle 过程理解（面试题系列~~~）

文章目录 map 端的shuffle 过程 写入磁盘 分区&排序 合并阶段 reduce 端的shuffle 过程 复制阶段 合并阶段 MapReduce 确保每个reducer 的输入都是按键进行排序的。系统执行排序，将map 输出作为输入传给reducer 的过程称为shuffle。 map 端的shuffle 过程 写入磁盘 map 端会先将输出写入到内存缓冲区，当内存缓冲区到达指定的阈值时

>>阅读原文<<