MapReduce的分区-Partitioner

分区操作时shuffle操作中的一个重要过程,作用就是讲map的结果按照规则分发到不同的reduce中进行处理,从而按照分区得到多个输出结果。 Partutuiber是partitioner的基类,如果需要盯着partitioner也需要继承该类,HashPartitioner是mapredce的默认partitioner。计算方法是 which reducer=(key.hashCode() &
相关文章
相关标签/搜索