Spark 键值对RDD数据分区

3.键值对 RDD 数据分区   Spark 目前支持 Hash 分区和 Range 分区,用户也能够自定义分区,Hash 分区为当前 的默认分区,Spark 中分区器直接决定了 RDD 中分区的个数、RDD 中每条数据通过 Shuffle 过程属于哪一个分区和 Reduce 的个数   注意: (1)只有 Key-Value 类型的 RDD 才有分区的,非 Key-Value 类型的 RDD 分
相关文章
相关标签/搜索