144、Spark核心编程进阶之aggregateByKey以及单词计数案例

reduceByKey可以认为是aggregateByKey的简化版 aggregateByKey,分为三个参数,,多提供了一个函数,Seq Function 就是说自己可以控制如何对每个partition中的数据进行先聚合,类似于mapreduce中的,map-side combine 然后才是对所有partition中的数据进行全局聚合 第一个参数是,每个key的初始值 第二个是个函数,Seq
相关文章
相关标签/搜索