saprk笔记(一)--经常使用spark算子

1.mapPartitionsjava         映射分区。对rdd中的每一个分区进行映射。 数据库 2.union网络         rdd1.union(rdd2)。该结果的分区数是rdd1和rdd2的分区数之和。 ide 3.intersection函数         计算两个rdd的交集,须要shuffle过程。交集后的rdd分区数是参与计算的两个分区数的最大值。 spa 4.d
相关文章
相关标签/搜索