MR_shuffle流程笔记

下面是我一些对流程源码的理解 还是WordCount案例,进入到context.write()方法 进入到mapContext.write()方法 进入到write方法 在进入到write方法 可以看到有一个collectorc.collect()方法 其中getPartition()作用是获得当前数据的分区号 我们进入这个方法 因为我自定义了partition并指定了分区类 所以执行的是我重写过
相关文章
相关标签/搜索