SparkStreaming动态感知kafka某个topic下partition

说明SparkStreaming动态感知kafka某个topic下partition,需要对kafka版本区分来看。 kafka 0.8版本 结论:kafka 0.8版本和Spark Streaming结合的DirectStream这种形式的API里面,是不支持kafka新增分区或者topic检测的。 所以如果想读取新的分区中的数据,那么就得重新启动Spark Streaming应用。 原因:Di
相关文章
相关标签/搜索