hadoop中的Partitioner分区

 hadoop的map/reduce中支持对key进行分区,从而让map出来的数据均匀分布在reduce上,固然,有时候因为机器间配置问题,可能不须要数据均匀,这时候也能派上用场。 框架自带了一个默认的分区类,HashPartitioner,先看看这个类,就知道怎么自定义key分区了。 public class HashPartitioner<K, V> extends Partitioner<K
相关文章
相关标签/搜索