SparkStreaming使用messageHandler预处理Kafka数据

在SparkStreaming任务中，可以使用DirectKafkaInputDStream中的messageHandler功能对接受到的kafka数据做下预处理，接口声明如下图： 最近就收到一个需求，很简单：如果kafka中的原数据类似于【a,b,1:2:3,d】，但想要将数据的[1:2:3]字段拆开分别跟其他字段组成一个字符串，如: 【a,b,1,d】 【a,b,2,d】 【a,b,3,d】

>>阅读原文<<