spark on yarn cluster模式,异常:NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer

异常出现 咱们能够看到在org.apache.spark.streaming.kafka010.InternalKafkaConsumer找不到对应的类java 解决方法: 由于spark对应kafka有版本要求,咱们在CDH的spark中搜索kafka 而后选择0.10 保存以后,而后重启下Spark 部署以后,从新执行命令mysql spark2-submit \ --master yarn
相关文章
相关标签/搜索