Kafka快速开始（安装部署）

 

第1步：下载代码

下载 2.0.0版本并解压缩它。

 

1 2	> tar -xzf kafka_2.11-2.0.0.tgz > cd kafka_2.11-2.0.0

 

 

第2步：启动服务器

Kafka使用ZooKeeper，所以若是您尚未ZooKeeper服务器，则须要先启动它。您可使用与kafka一块儿打包的便捷脚原本获取的单节点ZooKeeper实例。

 

1 2 3

> bin/zookeeper-server-start.sh config/zookeeper.properties [2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig) ...

 

如今启动Kafka服务器：

 

1 2 3 4

> bin/kafka-server-start.sh config/server.properties [2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties) [2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties) ...

 

第3步：建立主题

让咱们建立一个名为“test”的主题，它只包含一个分区，只有一个副本：

 

1	> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

 

若是咱们运行list topic命令，咱们如今能够看到该主题：

 

1 2	> bin/kafka-topics.sh --list --zookeeper localhost:2181 test

 

或者，您也能够将代理配置为在发布不存在的主题时自动建立主题，而不是手动建立主题。

第4步：发送一些消息

Kafka附带一个命令行客户端，它将从文件或标准输入中获取输入，并将其做为消息发送到Kafka集群。默认状况下，每行将做为单独的消息发送。

运行producer，而后在控制台中键入一些消息以发送到服务器。

 

1 2 3

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test This is a message This is another message

 

第5步：启动消费者

Kafka还有一个命令行consumer，它会将消息转储到标准输出。

 

1 2 3

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning This is a message This is another message

 

若是您在不一样的终端中运行上述每一个命令，那么您如今应该可以在生产者终端中键入消息并看到它们出如今消费者终端中。

全部命令行工具都有其余选项; 运行不带参数的命令将显示更详细地记录它们的使用信息。

步骤6：设置多代理群集

到目前为止，咱们一直只运行一个单broker，但这并很差玩。对于Kafka，单个broker只是一个大小为1的集群，所以除了启动更多代理实例以外没有太多变化。可是为了感觉它，让咱们将咱们的集群扩展到三个节点（仍然在咱们的本地机器上）。

首先，咱们为每一个代理程序建立一个配置文件（在Windows上使用copy命令代替）：

 

1 2	> cp config/server.properties config/server-1.properties > cp config/server.properties config/server-2.properties

 

如今编辑这些新文件并设置如下属性：

 

1 2 3 4 5 6 7 8 9

config/server-1.properties:     broker.id=1     listeners= PLAINTEXT://:9093     log.dirs=/tmp/kafka-logs-1   config/server-2.properties:     broker.id=2     listeners= PLAINTEXT://:9094     log.dirs=/tmp/kafka-logs-2

 

该broker.id属性是群集中每一个节点的惟一且永久的名称。咱们必须覆盖端口和日志目录，由于咱们在同一台机器上运行这些，而且咱们但愿让全部代理尝试在同一端口上注册或覆盖彼此的数据。

咱们已经启动了Zookeeper并启动了咱们的单个节点，所以咱们只须要启动两个新节点：

 

1 2 3 4

> bin/kafka-server-start.sh config/server-1.properties & ... > bin/kafka-server-start.sh config/server-2.properties & ...

 

如今建立一个复制因子为3的新主题：

 

1	> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

 

好的，但如今咱们有一个集群，咱们怎么知道哪一个经纪人正在作什么？要查看运行“describe topics”命令：

 

1 2 3

> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic Topic:my-replicated-topic   PartitionCount:1    ReplicationFactor:3 Configs:     Topic: my-replicated-topic  Partition: 0    Leader: 1   Replicas: 1,2,0 Isr: 1,2,0

 

这是输出的解释。第一行给出了全部分区的摘要，每一个附加行提供有关一个分区的信息。因为咱们只有一个分区用于此主题，所以只有一行。

• “leader”是负责给定分区的全部读取和写入的节点。每一个节点将成为随机选择的分区部分的领导者。
• “replicas”是复制此分区日志的节点列表，不管它们是否为领导者，或者即便它们当前处于活动状态。
• “isr”是“同步”复制品的集合。这是副本列表的子集，该列表当前处于活跃状态而且已经被领导者捕获。

请注意，在个人示例中，节点1是该主题的惟一分区的领导者。

咱们能够在咱们建立的原始主题上运行相同的命令，以查看它的位置：

 

1 2 3

> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test Topic:test  PartitionCount:1    ReplicationFactor:1 Configs:     Topic: test Partition: 0    Leader: 0   Replicas: 0 Isr: 0

 

因此毫无疑问 - 原始主题没有副本，位于服务器0上，是咱们建立它时群集中惟一的服务器。

让咱们向咱们的新主题发布一些消息：

 

1 2 3 4 5

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic ... my test message 1 my test message 2 ^C

 

如今让咱们使用这些消息：

 

1 2 3 4 5

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic ... my test message 1 my test message 2 ^C

 

如今让咱们测试一下容错性。broker1充当leader因此让咱们kill掉它的进程：

 

1 2 3

> ps aux | grep server-1.properties 7564 ttys002    0:15.91 /System/Library/Frameworks/JavaVM.framework/Versions/1.8/Home/bin/java... > kill -9 7564

 

在Windows上使用：

 

1 2 3 4

> wmic process where "caption = 'java.exe' and commandline like '%server-1.properties%'" get processid ProcessId 6016 > taskkill /pid 6016 /f

 

leader已切换到其中一个从属节点，节点1再也不位于同步副本集中：

 

1 2 3

> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic Topic:my-replicated-topic   PartitionCount:1    ReplicationFactor:3 Configs:     Topic: my-replicated-topic  Partition: 0    Leader: 2   Replicas: 1,2,0 Isr: 2,0

 

但即便最初接受写入的领导者已经失败，这些消息仍可供消费：

 

1 2 3 4 5

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic ... my test message 1 my test message 2 ^C

 

步骤7：使用Kafka Connect导入/导出数据

从控制台写入数据并将其写回控制台是一个方便的起点，但您可能但愿使用其余来源的数据或将数据从Kafka导出到其余系统。对于许多系统，您可使用Kafka Connect导入或导出数据，而不是编写自定义集成代码。

Kafka Connect是Kafka附带的工具，用于向Kafka导入和导出数据。它是一个可扩展的工具，运行 链接器，实现与外部系统交互的自定义逻辑。在本快速入门中，咱们将了解如何使用简单的链接器运行Kafka Connect，这些链接器将数据从文件导入Kafka主题并将数据从Kafka主题导出到文件。

首先，咱们将首先建立一些种子数据进行测试：

 

1	> echo -e "foo\nbar" > test.txt

 

或者在Windows上：

 

1 2	> echo foo> test.txt > echo bar>> test.txt

 

接下来，咱们将启动两个以独立模式运行的链接器，这意味着它们在单个本地专用进程中运行。咱们提供三个配置文件做为参数。第一个始终是Kafka Connect流程的配置，包含常见配置，例如要链接的Kafka代理和数据的序列化格式。其他配置文件均指定要建立的链接器。这些文件包括惟一的链接器名称，要实例化的链接器类以及链接器所需的任何其余配置。

 

1	> bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

 

Kafka附带的这些示例配置文件使用您以前启动的默认本地群集配置并建立两个链接器：第一个是源链接器，它从输入文件读取行并生成每一个Kafka主题，第二个是宿链接器从Kafka主题读取消息并将每一个消息生成为输出文件中的一行。

在启动过程当中，您将看到许多日志消息，包括一些指示正在实例化链接器的日志消息。一旦Kafka Connect进程启动，源链接器应该开始从test.txt主题读取行并生成它们connect-test，而且接收器链接器应该开始从主题读取消息connect-test 并将它们写入文件test.sink.txt。咱们能够经过检查输出文件的内容来验证数据是否已经过整个管道传递：

 

1 2 3

> more test.sink.txt foo bar

 

请注意，数据存储在Kafka主题中connect-test，所以咱们还能够运行控制台使用者来查看主题中的数据（或使用自定义使用者代码来处理它）：

 

1 2 3 4

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning {"schema":{"type":"string","optional":false},"payload":"foo"} {"schema":{"type":"string","optional":false},"payload":"bar"} ...

 

链接器继续处理数据，所以咱们能够将数据添加到文件中并看到它在管道中移动：

 

1	> echo Another line>> test.txt

 

您应该看到该行出如今控制台使用者输出和接收器文件中。

第8步：使用Kafka Streams处理数据

Kafka Streams是一个客户端库，用于构建任务关键型实时应用程序和微服务，其中输入和/或输出数据存储在Kafka集群中。Kafka Streams结合了在客户端编写和部署标准Java和Scala应用程序的简单性以及Kafka服务器端集群技术的优点，使这些应用程序具备高度可扩展性，弹性，容错性，分布式等等。本快速入门示例将演示如何运行在此库中编码的流应用程序。