MapReduce 调优基本思路

mapreduce 的调优通常都是基于shuffle阶段的。下面就讲讲基本思路。java 调优的基本原则就是给 shuffle 阶段尽量大的内存。可是由于map和reduce函数的执行也须要内存，因此shuffle须要多少内存须要权衡一下，好比尽可能避免在 map reduce 用 哈希表等结构对数据进行聚合操做，让 map 和 reduce 占用的内存尽量小。apache map 和 reduc

>>阅读原文<<