MapReduce任务参数调优

conf.set("mapreduce.job.reduce.slowstart.completedmaps", "0.8"); 【在往hbase表里通过bulkload导数据时,某个mapreduce跑了一个多小时还没跑,看yarn界面,发现map还有一小部分没跑完,没跑完的map全在pending,running中没有,同时reduce在copy阶段把资源全用光,导致map没资源去跑,进而导致
相关文章
相关标签/搜索