Kafka常见错误整理（不断更新中）

一、UnknownTopicOrPartitionException

org.apache.kafka.common.errors.UnknownTopicOrPartitionException:
This server does not host this topic-partition复制代码

报错内容：分区数据不在

缘由分析：producer向不存在的topic发送消息，用户能够检查topic是否存在 或者设置auto.create.topics.enable参数

二、LEADERNOTAVAILABLE

WARN Error while fetching metadata with correlation id 0 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient复制代码

报错内容：leader不可用

缘由分析：缘由不少 topic正在被删除 正在进行leader选举 使用kafka-topics脚本检查leader信息

进而检查broker的存活状况 尝试重启解决

三、NotLeaderForPartitionException

org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition复制代码

报错内容：broker已经不是对应分区的leader了

缘由分析：发生在leader变动时 当leader从一个broker切换到另外一个broker时，要分析什么缘由引发了leader的切换

四、TimeoutException

org.apache.kafka.common.errors.TimeoutException: Expiring 5 record(s) for test-0: 30040 ms has passe复制代码

报错内容：请求超时

缘由分析：观察哪里抛出的 观察网络是否能通 若是能够通 能够考虑增长request.timeout.ms的值

五、RecordTooLargeException

WARN async.DefaultEventHandler: Produce request with correlation id 92548048 failed due to [TopicName,1]: org.apache.kafka.common.errors.RecordTooLargeException复制代码

报错内容：消息过大

缘由分析：生产者端 消息处理不过来了 能够增长 request.timeout.ms 减小 batch.size

六、Closing socket connection

Closing socket connection to/127,0,0,1.(kafka.network.Processor) 复制代码

报错内容：链接关闭

缘由分析：若是javaApi producer版本高，想在客户端consumer启动低版本验证，会不停的报错

没法识别客户端消息。

七、ConcurrentModificationException

java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access  复制代码

报错内容：线程不安全

缘由分析：Kafka consumer是非线程安全的

八、NetWorkException

[kafka-producer-network-thread | producer-1] o.apache.kafka.common.network.Selector : [Producer clientId=producer-1] Connection with / disconnected复制代码

报错内容：网络异常

缘由分析：网络链接中断 检查broker的网络状况

九、ILLEGAL_GENERATION

ILLEGAL_GENERATION occurred while committing offsets for group  复制代码

报错内容：无效的“代”

缘由分析：consumer错过了 rebalance 缘由是consumer花了大量时间处理数据。

须要适当减小 max.poll.records值 增长 max.poll.interval.ms 或者想办法增长消息处理的速度

未完待续~~~

更多实时计算,Flink,Kafka等相关技术博文，欢迎关注实时流式计算