MapReduce Shuffle性能调优

Map端优化 选项 类型 默认值 描述 io.sort.mb int 100 缓存map中间结果的buffer大小(MB) io.sort.record.percent float 0.05 io.sort.mb中用来保存map output记录边界的百分比，其余缓存用来保存数据 io.sort.spill.percent float 0.80 map开始作spill操做的阈值 io.sort.f

>>阅读原文<<