SparkStreaming读取kafka数据的两种方式(receive与direct)对比

陈诉 大家都知道在spark1.3版本后,kafkautil里面提供了两个创建dstream的方法,一个是老版本中有的createStream方法,还有一个是后面新加的createDirectStream方法。总之,通过新方法创建出来的dstream的rdd partition和kafka的topic的partition是一一对应的,通过低阶API直接从kafka的topic消费消息,默认将偏移量
相关文章
相关标签/搜索