使用Kafka Connect导入/导出数据

从控制台写入数据并将其写回到控制台是一个方便的起点，可是您可能要使用其余来源的数据或将数据从Kafka导出到其余系统。对于许多系统，可使用Kafka Connect导入或导出数据，而无需编写自定义集成代码。

Kafka Connect是Kafka附带的工具，用于将数据导入和导出到Kafka。它是运行链接器的可扩展工具，该 链接器实现用于与外部系统进行交互的自定义​​逻辑。在此快速入门中，咱们将看到如何使用简单的链接器运行Kafka Connect，该链接器将数据从文件导入到Kafka主题，并将数据从Kafka主题导出到文件。

首先，咱们将从建立一些种子数据开始进行测试：

echo -e "foo\nbar" > test.txt

接下来，咱们将启动两个以独立模式运行的链接器，这意味着它们将在单个本地专用进程中运行。咱们提供了三个配置文件做为参数。第一个始终是Kafka Connect流程的配置，其中包含通用配置，例如要链接的Kafka代理和数据的序列化格式。其他配置文件均指定要建立的链接器。这些文件包括惟一的链接器名称，要实例化的链接器类，以及链接器所需的任何其余配置。

[root@zookeep-kafka-node1 kafka_2.12-2.3.0]#  bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

如报错能够修改connect-standalone.properties文件 bootstrap.servers值改为IP

# These are defaults. This file just demonstrates how to override some settings. bootstrap.servers=10.23.209.70:9092 # The converters specify the format of data in Kafka and how to translate it into Connect data. Every Connect user will # need to configure these based on the format they want their data in when loaded from or stored into Kafka

这些示例配置文件（随Kafka一块儿提供）使用您以前启动的默认本地集群配置，并建立两个链接器：第一个是源链接器，它从输入文件中读取行并将每一个行生成到Kafka主题，第二个是宿链接器。从Kafka主题读取消息，并在输出文件中将它们做为一行显示。

在启动过程当中，您将看到许多日志消息，其中包括一些代表正在实例化链接器的消息。Kafka Connect流程启动后，源链接器应开始从test.txt主题中读取行并将其生成到主题connect-test，而接收器链接器应开始从主题中读取消息connect-test 并将其写入文件test.sink.txt。咱们能够经过检查输出文件的内容来验证数据已经过整个管道传递：

[root@zookeep-kafka-node1 kafka_2.12-2.3.0]# more test.sink.txt foo bar

请注意，数据存储在Kafka主题中connect-test，所以咱们也能够运行控制台使用者以查看该主题中的数据（或使用自定义使用者代码进行处理）：

[root@zookeep-kafka-node2 kafka_2.12-2.3.0]# bin/kafka-console-consumer.sh --bootstrap-server 10.23.209.71:9092 --topic connect-test --from-beginning {"schema":{"type":"string","optional":false},"payload":"foo"} {"schema":{"type":"string","optional":false},"payload":"bar"}

链接器继续处理数据，所以咱们能够将数据添加到文件中，并查看它在管道中的移动状况：

[root@zookeep-kafka-node1 kafka_2.12-2.3.0]# echo "hello world" >>test.txt

您应该看到该行出如今控制台使用者输出和接收器文件中。

[root@zookeep-kafka-node2 kafka_2.12-2.3.0]# bin/kafka-console-consumer.sh --bootstrap-server 10.23.209.71:9092 --topic connect-test --from-beginning {"schema":{"type":"string","optional":false},"payload":"foo"} {"schema":{"type":"string","optional":false},"payload":"bar"} {"schema":{"type":"string","optional":false},"payload":"hello world"}