RDD介绍与执行

    repartition 增加或减少分区。会产生shuffle。(多个分区分到一个分区不会产生shuffle) coalesce coalesce常用来减少分区,第二个参数是减少分区的过程中是否产生shuffle。 true为产生shuffle,false不产生shuffle。默认是false。 如果coalesce设置的分区数比原来的RDD的分区数还多的话,第二个参数设置为false不会起
相关文章
相关标签/搜索