MapReduce性能优化秘籍

1. MapReduce跑的慢的缘由 MapReduce 程序效率的瓶颈在于两点：java 计算机性能 CPU、内存、磁盘、网络 I/O 操做 数据倾斜 map 和 reduce 数设置不合理 map 运行时间太长，致使 reduce 等待太久 小文件过多 大量的不可分块的超大文件（例：经过 gzip 压缩后的文件） spill（溢写）次数过多 merge（map 端合并或 reduce 端合并）

>>阅读原文<<