MapReduce运行机制-Reduce阶段

ReduceTask 工作机制和 ReduceTask 并行度  Reduce 大致分为 copy、sort、reduce 三个阶段,重点在前两个阶段。copy 阶段包含一个 eventFetcher 来获取已完成的 map 列表,由 Fetcher 线程去 copy 数据,在此过程中会启动两个 merge 线程,分别为 inMemoryMerger 和 onDiskMerger,分别将内存中的数
相关文章
相关标签/搜索