Hadoop的shuffle和排序

目录 map 端 reduce 端 配置调优 map 端调优属性 reduce 端的调优属性 系统进行排序、将 map 输出作为输入传给 reducer 的过程被称为 shuffle。 map 端 map 函数开始产生输出时，会利用缓冲的方式写到内存并出于效率的考虑进行预排序。 每个 map 任务都有一个环形内存缓冲区用于存储任务输出，默认缓冲区大小为 100MB，可通过 mapreduce.ta

>>阅读原文<<