MapReduce优化_1

**java 一、配置调优 ** 调优总的原则给shuffle过程尽可能多提供内存空间，在map端，能够经过避免屡次溢出写磁盘来得到最佳性能(相关配置io.sort.*，io.sort.mb)，在reduce端，中间数据所有驻留在内存时，就能得到最佳性能，可是默认状况下，这是不可能发生的，由于通常状况全部内存都预留给reduce含函数(如需修改 须要配置mapred.inmem.merge.thr

>>阅读原文<<