MapReduce优化——配置调优

相关连接： MapReduce优化——Combiner与Partitionerjava 一、配置调优 调优总的原则给shuffle过程尽可能多提供内存空间，在map端，能够经过避免屡次溢出写磁盘来得到最佳性能(相关配置io.sort.*，io.sort.mb)，在reduce端，中间数据所有驻留在内存时，就能得到最佳性能，可是默认状况下，这是不可能发生的，由于通常状况全部内存都预留给reduce含

>>阅读原文<<