MapReduce常用三大组件

1、MapReduce中的Combiner 1.1、什么是Combiner Combiner是MapReduce程序中Mapper和Reducer之外的一种组件,他的作用在MapTask之后给MapTask的结果进行局部汇总,以减轻reducetask的计算负载,减少网络传输。 1.2、如何使用Combiner 编写一个类,然后继承Reducer,reduce方法中写具体的Combiner逻辑,然
相关文章
相关标签/搜索