kafka性能测试总结

1、测试数据

（1）kafka安装的bin目录：101.111.11.216 /opt/kafka_2.10-0.8.2.0/bin

（2）producer性能测试脚本：kafka-producer-perf-test.sh

（3）consumer性能测试脚本：kafka-consumer-perf-test.sh

2、环境初始化

（1）确保正常的producer和consumer逻辑

（2）消费者能正常消费topic为：qa_test

（3）生产者能正常生产消息的topic：qa_test

（4）关闭全部consumer进程

3、关键字段解释

一、测试资源（2）脚本中所需参数的说明：

（1）messages：生产者发送总的消息数量

（2）message-size：每条消息大小

（3）batch-size：每次批量发送消息的数量

（4）topics：生产者发送的topic

（5）threads：生产者用多少线程同时发送

（6）broker-list：安装kafka服务broker机器，格式：ip:port

（7）producer-num-retries：消息发送失败重试次数

（8）request-timeout-ms：消息请求发送超时时间

二、测试资源（3）脚本中所需参数说明

（1）zookeeper：zookeeper配置

（2）messages：消费者消费消息总数量

（3）topic：消费者须要消费的topic

（4）threads：消费者同时消费消息的线程数

（5）group：消费者组名称

（6）socket-buffer-sizesocket：缓冲区大小

（7）fetch-size：每次向kafka broker请求消费大小

（8）consumer.timeout.ms：消费者去kafka broker取一条消息的超时时间

4、测试步骤

一、producer性能测试步骤：

（1）在测试资源（1）目录下，启动测试资源（2）。命令如：

./kafka-producer-perf-test.sh --messages 1000000 --message-size 1000 --batch-size 100 --topic qa_test --threads 4 --broker-list 10.138.65.216:9092 start.time,end.time,compression,message.size,batch.size,total.data.sent.in.MB,MB.sec,total.data.sent.in.nMsg,nMsg.sec

返回结果如：

2015-09-25 13:49:20:988, 2015-09-25 13:49:51:327, 0, 1000, 100, 953.67, 31.4339, 1000000, 32960.8754

（2）根据测试结果推算须要的指标

（3）根据不一样的参数值，重复步骤（1）和（2）

二、consumer性能测试步骤：

（1）在测试资源（1）目录下，启动测试资源（3）。命令如：

./kafka-consumer-perf-test.sh --zookeeper 10.138.65.216:2181,10.138.65.217:2181,10.138.65.218:2181 --messages 50000 --topic qa_test --threads 2 start.time,end.time,fetch.size,data.consumed.in.MB,MB.sec,data.consumed.in.nMsg,nMsg.sec

返回结果如：

2015-09-25 14:18:26:775, 2015-09-25 14:18:32:497, 1048576, 29.0649, 40.2561, 67374, 93315.7895

（2）根据测试结果推算须要的指标

（3）根据不一样的参数值，重复步骤（1）和（2）

5、其余

一、WARN信息：WARN No broker partitions consumed by consumer thread perf-consumer-17532_s84.adsys...

解决方法：确认当前topic的partition数量，此数量与3.2.（4）对应

二、WARN信息：WARN Property reconnect.interval is not valid (kafka.utils.VerifiableProperties)

解决方法：无论

三、consumer的测试结果有负数

解决方法：检查2.（1）