黑猴子的家:ReduceTask工作机制

1、设置ReduceTask reducetask的并行度同样影响整个job的执行并发度和执行效率,但与maptask的并发数由切片数决定不同,Reducetask数量的决定是可以直接手动设置 //默认值是1,手动设置为4 job.setNumReduceTasks(4); 2、注意 (1)如果数据分布不均匀,就有可能在reduce阶段产生数据倾斜 (2)reducetask数量并不是任意设置,还
相关文章
相关标签/搜索