spark自定义分区的实现

spark默认是提供了两种分区器,HashPartitioner和RangePartitioner,但是有的时候不能满足我们实际的需求,这个时候我们可以自定义一个分区器,也非常的简单.看下面一个demo,把key是偶数的放到一个分区,key是奇数的放到另一个分区. package spark import org.apache.spark.{Partitioner, SparkConf, Spa

>>阅读原文<<