Hadoop优化(高频面试题)

Hadoop优化(高频面试题) MapReduce 跑的慢的原因 MapReduce优化方法 MapReduce优化方法主要从六个方面考虑: 数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。 2.1 数据输入 2.2 map阶段 mapreduce.task.io.sort.mb —> Shuffle的环形缓冲区大小,默认100m mapreduce.map.sor
相关文章
相关标签/搜索