Spark Streaming整合kafka实战

kafka做为一个实时的分布式消息队列,实时的生产和消费消息,这里咱们能够利用SparkStreaming实时计算框架实时地读取kafka中的数据而后进行计算。在spark1.3版本后,kafkaUtils里面提供了两个建立dstream的方法,一种为KafkaUtils.createDstream,另外一种为KafkaUtils.createDirectStream。node 1.KafkaUt
相关文章
相关标签/搜索