kafka集群管理重要操做指令运维兵书-kafka 商业环境实战

时间 2019-11-17

标签 kafka 集群管理重要指令兵书商业环境实战栏目 Kafka 繁體版

原文原文链接

1 kafka数据分发测试指令

2 kafka启动指令

3 Kafka 版本0.10指令汇总

3 Kafka 运维管理集锦

查看kafka topic列表，使用--list参数git

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list
      __consumer_offsets
      lx_test_topic
      test
复制代码

查看kafka特定topic的详情，使用--topic与--describe参数github

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic lx_test_topic --describe
  
  Topic:lx_test_topic     PartitionCount:1        ReplicationFactor:1     Configs:
      Topic: lx_test_topic    Partition: 0    Leader: 0       Replicas: 0     Isr: 0
复制代码

查看consumer group列表，使用--list参数算法

一样根据新/旧版本的consumershell

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9292 --list
  lx_test

  bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --list
  console-consumer-86845
  console-consumer-11967
复制代码

查看特定consumer group 详情，使用--group与--describe参数json

一样根据新/旧版本的consumer，分别指定bootstrap-server与zookeeper参数:bootstrap

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9292 --group lx_test --describe
  GROUP                          TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             OWNER
  lx_test                        lx_test_topic             0          465             465             0               kafka-python-1.3.1_/127.0.0.1


  bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --group console-consumer-11967 --describe
  GROUP                          TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             OWNER
  Could not fetch offset from zookeeper for group console-consumer-11967 partition [lx_test_topic,0] due to missing offset data in zookeeper.
  console-consumer-11967         lx_test_topic             0          unknown         465             unknown         console-consumer-11967_aws-lx-1513787888172-d3a91f05-0
复制代码

管理运维

建立主题（4个分区，2个副本）
  bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic test
复制代码

查询post

## 查询集群描述
  bin/kafka-topics.sh --describe --zookeeper 
  
  ## 消费者列表查询
  bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list
  
  ## 新消费者列表查询（支持0.9版本+）
  bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --list
  
  ## 显示某个消费组的消费详情（仅支持offset存储在zookeeper上的）
  bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test
  
  ## 显示某个消费组的消费详情（支持0.9版本+）
  bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --describe --group test-consumer-group
复制代码

发送和消费学习

## 生产者
  bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
  
  ## 消费者
  bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test
  
  ## 新生产者（支持0.9版本+）
  bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test --producer.config config/producer.properties
  
  ## 新消费者（支持0.9版本+）
  bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --new-consumer --from-beginning --consumer.config config/consumer.properties
  
  ## 高级点的用法
  bin/kafka-simple-consumer-shell.sh --brist localhost:9092 --topic test --partition 0 --offset 1234  --max-messages 10
复制代码

平衡leader

bin/kafka-preferred-replica-election.sh --zookeeper zk_host:port/chroot
复制代码

增长副本

cat > increase-replication-factor.json <<EOF
  {"version":1, "partitions":[
  {"topic":"__consumer_offsets","partition":0,"replicas":[0,1]},
  {"topic":"__consumer_offsets","partition":1,"replicas":[0,1]},
  {"topic":"__consumer_offsets","partition":2,"replicas":[0,1]},
  
bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file increase-replication-factor.json --execute

bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file increase-replication-factor.json --verify
复制代码

kafka-consumer-groups.sh 在2.0增长的新功能（查看组信息与状态）

--简约信息
  bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092,localhost:9093,localhost:9094 
  --describe --group test-group --members
  
  CONSUMER-ID                                     HOST            CLIENT-ID       #PARTITIONS     

  consumer-1-aa3f2e15-d577-4c51-acd5-aa0d488cc131 /127.0.0.1      consumer-1      8               
  
  consumer-1-f3b11334-b9eb-4d4f-80d1-766446c77ee9 /127.0.0.1      consumer-1      8               
  
  consumer-1-658e4d7b-a561-4430-bbdf-c3ab59a18f3a /127.0.0.1      consumer-1      9 
  
  
  --详细信息
  bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092,localhost:9093,localhost:9094 
  --describe --group test-group --members --verbose 
  
  CONSUMER-ID                                     HOST            CLIENT-ID       #PARTITIONS     ASSIGNMENT

  consumer-1-aa3f2e15-d577-4c51-acd5-aa0d488cc131 /127.0.0.1      consumer-1      8               test-topic(9,10,11,12,13,14,15,16)
  
  consumer-1-f3b11334-b9eb-4d4f-80d1-766446c77ee9 /127.0.0.1      consumer-1      8               test-topic(17,18,19,20,21,22,23,24)
  
  consumer-1-658e4d7b-a561-4430-bbdf-c3ab59a18f3a /127.0.0.1      consumer-1      9               test-topic(0,1,2,3,4,5,6,7,8) 
  
  -- 组员状态信息
  bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092,localhost:9093,localhost:9094 
  --describe --group test-group --state
  
  COORDINATOR (ID)          ASSIGNMENT-STRATEGY       STATE                #MEMBERS
  
  localhost:9092 (0)        range                     Stable               3
复制代码

4 Kafka 测试指令汇总

上面命令中比较关键的参数包括：

--num-records：指定此次测试要发送的总消息数。笔者建议每次执行kafka-producer-perf-test脚本至少要跑够5分钟的时间，这样得出的测试结果才比较准确，所以这个参数最好设置大一些
--record-size：模拟消息的大小。这个参数最好和你生产环境中的平均消息大小保持一致，这样测试结果才能更准确地反映实际使用场景。假设你的业务中消息的平均大小是1MB，那么设置成该参数为1024就能够了。
--throughput：吞吐量上限阈值。若是没有TPS的限制，设置成-1就能够了。这里也是一样的原则：和你真实业务场景中的TPS目标保持一致。若是没有明确的预期，能够先设置成-1看下当前可以达到的最大TPS是多少。
--compression.type：设置消息压缩类型。生产环境中应该没有不启动压缩的吧？根据笔者的经验，目前Kafka与LZ4的组合效果最好，能够应用到生产环境。另外，Kafka社区已经在考虑加入对ZStandard的支持。ZStandard是Facebook开源的压缩算法，据称完胜目前其余全部压缩算法，让咱们拭目以待吧。

4 总结

本节内容主要探讨了kafka集群管理重要操做指令运维，可能部分截图来自github公开源码，部分是个人测试案例，若有雷同某位大神私有内容，请直接留言于我，我来从新修正案例。

秦凯新于深圳