sparkstreaming 1.6自定义kafka分区

需先在sparkConf新增以下三个自定义配置项： //是否开启自动重分区分区 sparkConf.set(“enable.auto.repartition”,“true”) //避免不必要的重分区操作，增加个阈值，只有该批次要消费的kafka的分区内数据大于该阈值才进行拆分 sparkConf.set(“per.partition.offsetrange.threshold”,“300”) //

>>阅读原文<<