学习Hadoop第十六课(Combiner编程)

上一节课我们一起学习了Hadoop自定义排序功能,这节我们一起学习Combiner编程,每一个map可能会产生大量的输出,Combiner的作用就是在map端对输出先合并一次,以减少传输到Reducer的数据量。        combiner最基本是实现本地key的归并,combiner具有类似本地reduce功能。        如果不用combiner,那么所有的结果都是reduce完成,效
相关文章
相关标签/搜索