【3.3】MapReduce工作流程

1. MapTask 工作机制 Spill溢写阶段: 2. ReduceTask 工作机制 ReduceTask工作机制 设置 ReduceTask 并行度(个数) ReduceTask 的并行度同样影响整个Job 的执行并发度和执行效率,但与MapTask 的并发数由切片数决定不同,ReduceTask 数量的决定是可以在驱动类中直接手动设置: 实验:测试ReduceTask多少合适 注意事项
相关文章
相关标签/搜索