Spark自定义分区(Partitioner)

转自:http://www.iteblog.com/archives/1368java 咱们都知道Spark内部提供了HashPartitioner和RangePartitioner两种分区策略,这两种分区策略在不少状况下都适合咱们的场景。可是有些状况下,Spark内部不能符合我们的需求,这时候咱们就能够自定义分区策略。为此,Spark提供了相应的接口,咱们只须要扩展Partitioner抽象类,
相关文章
相关标签/搜索