MapReduce总体工作机制

MapReduce总体工作机制 map逻辑完之后,将map的每条结果通过context.write进行collect数据收集。 在collect中,会先对其进行分区处理,默认使用HashPartitioner。 MapReduce提供Partitioner接口,它的作用就是根据key或value及reduce的数量来决定当前的这对输出数据最终应该交由哪个reduce task处理。 默认对key
相关文章
相关标签/搜索