【菜鸟系列】spark经常使用算子总结(scala、java)--map,flatMap,flatMapToPair

map,flatMap,flatMapToPair是最经常使用的算子,map算子的输入和输出是一对一的,也就是子RDD的分区与父RDD的分区时一对一的关系;flatMap是压平,输入和输出是一对多的关系;须要注意的是:scala版本的map能够将RDD转成PairRDD,可是在java版本中,这个功能是经过mapToPair函数实现的,须要实现PairFunction函数;scala版本没有fla
相关文章
相关标签/搜索