Hadoop combine函数的作用

combine分为map端和reduce端,作用是把同一个key的键值对合并在一起,可以自定义的。 combine函数把一个map函数产生的<key,value>对(多个key,value)合并成一个新的<key2,value2>.将新的<key2,value2>作为输入到reduce函数中这个value2亦可称之为values,因为有多个。这个合并的目的是为了减少网络传输。
相关文章
相关标签/搜索