解决KafkaConsumer多线程接入不安全问题(spark streaming 消费kafka)

使用场景: 设置并行度参数spark.streaming.concurrentJobs >1 时候,使用spark streaming消费kafkagit 异常信息: There may be two or more tasks in one executor will use the same kafka consumer at the same time, then it will throw
相关文章
相关标签/搜索