Hadoop面试题总结（五）- 优化

一、MapReduce跑得慢的缘由？

Mapreduce 程序效率的瓶颈在于两点：

1）计算机性能

CPU、内存、磁盘健康、网络

2）I/O 操做优化

（1）数据倾斜

（2）map和reduce数设置不合理

（3）reduce等待太久

（4）小文件过多

（5）大量的不可分块的超大文件

（6）spill次数过多

（7）merge次数过多等

二、MapReduce优化方法

1）数据输入

（1）合并小文件：在执行mr任务前将小文件进行合并，大量的小文件会产生大量的map任务，增大map任务装载次数，而任务的装载比较耗时，从而致使mr运行较慢。

（2）采用ConbinFileInputFormat来做为输入，解决输入端大量小文件场景。

2）map阶段

（1）减小spill次数：经过调整io.sort.mb及sort.spill.percent参数值，增大触发spill的内存上限，减小spill次数，从而减小磁盘 IO。

（2）减小merge次数：经过调整io.sort.factor参数，增大merge的文件数目，减小merge的次数，从而缩短mr处理时间。

（3）在 map 以后先进行combine处理，减小I/O。

3