Spark pairRDD的聚合操作一

当数据集以键值对形式组织的时候,聚合相同的键的元素进行一些统计是很常见操作,如基本RDD上的fold() combine() reduce()等行动操作,pairRDD上则有相应的针对键的转化操作,Spark上有一组类似的操作,可用组合具有相同键的值,这些操作返回RDD 但它们是转化操作而不是行动操作 reduceByKey()与reduce()相当类似,它接收一个函数,并使用函数对值进行合并,r
相关文章
相关标签/搜索