yarn下的hdfs和mr性能调优参数一览表

mr核心的几个参数：java conf/mapred-site.xml：node mapreduce.task.io.sort.mb并发 任务内部排序缓冲区大小默认100mjvm mapreduce.map.sort.spill.percent性能 Map阶段溢写文件的阈值（排序缓冲区大小的百分比）默认0.8线程 mapreduce.reduce.shuffle.parallelcopiesxml

>>阅读原文<<