SparkStreaming读取kafka数据的两种方式

Receive Receive是使用的高级API,须要消费者链接Zookeeper来读取数据。是由Zookeeper来维护偏移量,不用咱们来手动维护,这样的话就比较简单一些,减小了代码量。可是天下没有免费的午饭,它也有不少缺点: 1.致使丢失数据。它是由Executor内的Receive来拉取数据并存放在内存中,再由Driver端提交的job来处理数据。这样的话,若是底层节点出现错误,就会发生数据
相关文章
相关标签/搜索