Kafka Manager几个指标含义

记忆早退blog

Brokers Spread:看做broker使用率,如kafka集群9个broker,某topic有7个partition,则broker spread: 7 / 9 = 77%kafka

Brokers Skew:partition是否存在倾斜,如kafka集群9个broker,某topic有18个partition,正常每一个broker应该2个partition。若其中有3个broker上的partition数>2,则broker skew:  3 / 9 = 33%it

Brokers Leader Skew:leader partition是否存在倾斜,如kafka集群9个broker,某topic14个partition,则正常每一个broker有2个leader partition。若其中一个broker有0个leader partition,一个有4个leader partition,则broker leader skew: (4 - 2) / 14 = 14%io

因为kafka全部读写都在leader上进行, broker leader skew会致使不一样broker的读写负载不均衡,配置参数 auto.leader.rebalance.enable=true 能够使kafka每5min自动作一次leader的rebalance,消除这个问题。集群

另外一个比较关心的问题是Lag为何有时是负数?配置

Lag表明consumer的消费能力,计算公式为Lag = Consumer Offset - LogSize,Kafka Manager先从zk获取LogSize,再从kafka __consumer_offsets topic读取Offset。两步操做存在一个时间gap,所以吞吐很大的topic上会出现Offset > LogSize的状况。致使Lag负数。im

以下图:top

相关文章
相关标签/搜索