ReduceTask 工作机制

ReduceTask 工作机制 概述: ReduceTask 分了四个阶段,第一阶段是copy阶段,每一个ReduceTask会从所有的MapTask中拷贝同一个分区的数据,就是说每一个ReduceTask单独负责处理一个分区,互不影响。第二阶段是Merge阶段,首先我们假如有多个MapTask,每个MapTask都有相同的分区,ReduceTask要将所有相同分区的资料合并成一个大文件。这就是M
相关文章
相关标签/搜索