HIVE-shuffle阶段的oom处理方法

工做中碰到的问题,如今记下来之后好找。 1.增长reduce数(set mapreduce.job.reduces=xxx)或者 set hive.exec.reducers.bytes.per.reducer=150000000;默认是1G 2.或调整放在内存里的最大片断所占百分比 (set mapreduce.reduce.shuffle.memory.limit.percent=0.10)。
相关文章
相关标签/搜索