Spark部分:重新分区(repartition和coalesce)

coalesce def coalesce(numPartitions:Int,shuffle:Boolean=false):RDD[T]  该函数用于将RDD进行重分区,使用HashPartitioner。  第一个参数为重分区的数目,第二个为是否进行shuffle,默认为false。 repartition def repartition(numPartitions: Int): RDD[T]
相关文章
相关标签/搜索