SparkStreaming 根据指定字段进行去重，并保留时间为最新的那条记录(消费Kafka版本为 0.10)

// 对数据进行过滤，取时间为最新的那条记录 val inputFilterIterable: RDD[(String, String)] = inputFeedRDD.map(inputRDD => { val a: ConsumerRecord[String, String] = inputRDD val inputString: S

>>阅读原文<<