Hadoop 优化

一、MapReduce 跑得慢的原因 1、计算机性能 CPU、内存、磁盘健康、网络 2、I/O 操作优化 (1) 数据倾斜 (2) Map 和 Reduce 数设置不合理 (3) Map 运行时间太长，导致 Reduce 等待过久 (4) 小文件过多 (5) 大量的不可分块的超大文件 (6) spill 次数过多 (8) Merge 次数过多等 二、MapReduce 优化方法 MapReduce

>>阅读原文<<