hadoop shuffle 落磁盘

宏观上，Hadoop每一个做业要经历两个阶段：Map phase和reduce phase。对于Map phase，又主要包含四个子阶段：从磁盘上读数据-》执行map函数-》combine结果-》将结果写到本地磁盘上；对于reduce phase，一样包含四个子阶段：从各个map task上读相应的数据（shuffle）-》sort-》执行reduce函数-》将结果写到HDFS中。

-D mapreduce.reduce.shuffle.input.buffer.percent=0.6
-D mapreduce.reduce.shuffle.memory.limit.percent=0.20