spark自定义分区的实现

spark默认是提供了两种分区器,HashPartitioner和RangePartitioner,可是有的时候不能知足咱们实际的需求,这个时候咱们能够自定义一个分区器,也很是的简单.看下面一个demo,把key是偶数的放到一个分区,key是奇数的放到另外一个分区.javascript package spark import org.apache.spark.{Partitioner, Spa

>>阅读原文<<