【MapReduce】六、Hadoop企业优化

文章目录 一、MapReduce 跑的慢的原因 二、MapReduce优化方法 三、HDFS小文件优化方法 一、MapReduce 跑的慢的原因 MapReduce程序效率的瓶颈在于两点: 1.1 计算机性能 CPU、内存、磁盘健康、网络 1.2 I/O 操作优化 (1）数据倾斜 (2)Map和Reduce数设置不合理 (3)Map运行时间太长，导致Reduce等待过久(4)小文件过多 (5）大量

>>阅读原文<<