Hadoop中Combiner的使用

转自:http://blog.csdn.net/ipolaris/article/details/8723782java 在MapReduce中,当map生成的数据过大时,带宽就成了瓶颈,怎样精简压缩传给Reduce的数据,有不影响最终的结果呢。有一种方法就是使用Combiner,Combiner号称本地的Reduce,Reduce最终的输入,是Combiner的输出。下面以《Hadoop in
相关文章
相关标签/搜索