Spark分区器探索（HashPartitioner、RangePartitioner）

以Spark2.X为例，其支持Hash、Range以及自定义分区器。 分区器决定了rdd数据在分布式运算时的分区个数以及数据在shuffle中发往的分区号，而分区的个数决定了reduce的个数；一样的shuffle过程当中若分区器定义或选择不合适将大大增长数据倾斜的风险。综上，分区器的重要性不言而喻。web 首先要知道 (1)Key-Value类型RDD才有分区器，非Key-Value类型RDD的

>>阅读原文<<