Spark RDD collect与collectPartitions

确切的应该说是RDD collect^_^ 1.collect的作用         Spark内有collect方法,是Action操作里边的一个算子,这个方法可以将RDD类型的数据转化为数组,你可以随时val arr = data.collect(),将RDD类型数据转化为数组来存放并参与后续运算。 2.已知的弊端     首先,从时间上来讲,前边已经说过了,collect是Action里边的
相关文章
相关标签/搜索