Apache Kafka使用默认配置执行一些负载测试来完成性能测试和基准测试

Kafka是一种分布式，分区，复制的提交日志服务。它提供了消息传递系统的功能。

 

咱们先来看看它的消息传递术语：

• Kafka在称为主题的类别中维护消息的提要。
• 咱们将调用向Kafka主题生成器发布消息的进程。
• 咱们将调用订阅主题的流程并处理已发布消息的消费者。
• Kafka做为由一个或多个服务器组成的集群运行，每一个服务器称为代理。

所以，在高层次上，生产者经过网络向Kafka集群发送消息，而Kafka集群又向消费者提供这样的服务：

 

有关Apache Kafka的更多信息，请参阅如下连接：
Kafka文档

所以，为了对Kafka进行性能测试或基准测试，咱们须要考虑两个方面：

1. Producer End的表现
2. 消费者端的表现

咱们须要为Producer和Consumer执行此测试，以便咱们能够确保Producer能够生成多少消息，而Consumer能够在给定时间内消耗这些消息。对于大量消息，咱们也能够确保数据丢失。

此测试的主要目的是找出如下统计信息：
1。数据大小的
吞吐量（消息/秒）2。消息数量的吞吐量（消息/秒）
3。总数据
4.消息总数

让咱们继续下载并设置Kafka，请点击这里

完成后，您能够继续执行性能统计，按照下面提到的步骤执行此操做：

1.启动一个新的终端窗口
2.将目录设置为Kafka / bin 
3.在这里您能够找到多个shell脚本，咱们将使用如下内容来获取性能统计信息：

- kafka-producer-perf-test.sh
 - kafka-consumer-perf-test.sh

若是要查看有关shell脚本（perf工具）的帮助，只需键入便可

sh ./kafka-producer-perf-test.sh --help
or
sh ./kafka-consumer-perf-test.sh --help

分别为制片人和消费者。

Producer End的表现

在控制台上键入如下命令，而后按Enter键：

sh ./kafka-producer-perf-test.sh --broker-list localhost:9092 --topic test --messages 100

让咱们一个一个地理解这些命令行选项..

• 第一个参数是“broker-list”，在这里咱们须要提到代理信息，它是代理的主机和引导程序的端口列表，这是必需的参数。
• 第二个参数是“topic”，这个参数还须要参数并显示咱们以前讨论过的消息类别。
• 第三个显示您要生成和发送的消息数量，咱们将第一个场景设置为100。

一旦测试完成，一些统计数据将打印在控制台上，如：

start.time:2016-02-03 21:38:28:094 
end.time:2016-02-03 21:38:28:449 
compression：0 
message.size：100 
batch.size：200 
total.data.sent .in.MB:0.01 
MB.sec:0.0269 
total.data.sent.in.nMsg:100 
nMsg.sec:281.6901

1. start.time，end.time将显示测试什么时候开始并完成。
2. 若是Compression为'0'，则表示消息压缩已关闭（默认）。
3. 信息。size显示每条消息的大小。
4. batch.size表示一批中将发送的消息数，默认状况下设置为200。
5. total.data.sent.in.MB显示以MB为单位发送到集群的总数据。
6. MB.sec表示每秒以MB为单位传输的数据量（吞吐量大小）。
7. total.data.sent.in.nMsg将显示在此测试期间发送的总消息数。
8. 最后nMsg.sec显示一秒内发送的消息数（消息计数的吞吐量）。

在进行此性能测试时，您可使用更多参数，例如;

• csv-reporter-enabled：若是设置，将启用CSV指标报告器
• initial-message-id：用于生成测试数据，若是设置，消息将使用ID标记，并由生产者今后ID开始按顺序发送。消息内容将是字符串类型，并以“消息：000 ... 1：abc ...”的形式，使用此参数，您将可以看到消费者正在消费的消息。
• message-size：它表示每条消息的大小，当你想用一些大的消息加载测试Kafka时，它会颇有用。
• vary-message-size：若是设置，则消息大小将根据给定的最大值而变化。

还有一些其余选项能够在Producer性能测试期间根据须要使用。

对于这个博客，我根据消息的数量获取了一些性能数据，并经过图形内联显示了性能。

消费者端的表现

如今让咱们看一下如何在消费者端获取性能统计数据，输入如下命令并按Enter键。

sh ./kafka-consumer-perf-test.sh --topic test --zookeeper localhost:2181

让咱们理解它的命令行选项，

• 第一个参数是“topic”，这个参数还须要参数并显示消息类别。
• 第二个参数是“zookeeper”，这个参数还须要参数，并以host：port的形式显示zookeeper链接的链接字符串。

一旦测试完成，一些统计数据将打印在控制台上，如：

start.time:2016-02-04 11:29:41:806 
end.time:2016-02-04 11：29：46：854 
fetch.size：1048576 
data.consumed.in.MB:0.0954 
MB.sec： 1.9869 
data.consumed.in.nMs：1001 
nMsg.sec:20854.1667

1. start.time，end.time将显示测试什么时候开始并完成。
2. fetch.size **显示单个请求中要获取的数据量。
3. data.consumed.in.MB ****显示全部消息的大小。
4. * ** MB.sec *表示每秒以MB为单位传输的数据量（吞吐量大小）。
5. data.consumed.in.nMsg将显示在此测试期间消耗的总消息数。
6. 最后nMsg.sec显示一秒内消耗的消息数量（消息计数的吞吐量）。

Consumer的性能测试也基于消息数量，结果以图形内联显示。

经过使用统计数据，咱们能够决定批量大小，消息大小和给定配置能够生成/消耗的最大消息数，换句话说，咱们能够为Kafka基准数量。

全部上述分析都是使用Kafka的默认设置完成的，能够有多种状况咱们能够测试并获取Kafka Producer和Consumer的性能统计数据，其中一些状况能够是：

1. 更改主题数量
2. 更改异步批量大小
3. 更改邮件大小
4. 更改分区数
5. 网络延迟
6. 更改经纪人数量
7. 更改生产者/消费者等的数量

上述更改能够在文件夹中可用的属性文件中完成：

sh /Kafka/kafka_2.9.1-0.8.2.2/config