MR排关于分区和排序笔记

MR 分区:    1.在MR中partitioner将Mapper产生的中间结果进行分区,然后将同一组数据提交给一个Reducer中处理    2.partitioner默认调用的是Hashpartitioner,用它来把数据分组然后发送给不同的reducer    3.计算公式:(key.hashCode() & Integer.MAX_VALUE) % numReduceTasks 实现分区
相关文章
相关标签/搜索