【Spark】spark经常使用算子总结

1、Transformations转换算子 filter:过滤符合条件的记录数,true的保留、false的过滤java map:将RDD中的数据项,经过map中的函数映射变为一个新的元素(1进1出)框架 mapPartition:执行结果与map相同,可是能够一次遍历整个patition函数 mapPartitionWithIndex:相似于mapPartitions,除此以外还会携带分区的索引
相关文章
相关标签/搜索