Kafka 生产消费 Avro 序列化数据

本文实践了如何链接 Kafka 生产和消费 Avro 序列化格式的数据, 不能像 NgAgo-gDNA 那样, 为保证明验内容及结果的可重复性, 文中所用的各中间件和组件版本以下:

1. Apache Kafka: kafka_2.11-0.10.0.1, 这个版本在初始始化生产者消费者的属性与以前版本有所不一样.
2. kafka-clients: Java API 客户端, 版本为  0.10.0.1
3. Apache Avro: 1.8.1. 关于 Avro 序列化的内容可参见 Apache Avro 序列化与反序列化 (Java 实现)
4. Java 8

Apache Kafka 消息系统设计为能够传输字符串, 二进制等数据, 但直接用于传输生产消费两端都能理解的对象数据会更友好.  因此咱们这里用 Avro 的 Schema  来定义要传输的数据格式, 通讯时采用自定义的序列化和反序列化类进行对象与字节数组间的转换.

如下是整个实验过程

本地启动 Apache Kafka 服务

请参考 简单搭建 Apache Kafka 分布式消息系统 启动 ZooKeeper 和 Kafka 便可. 程序运行会自动建立相应的主题. 启动后 Kafka 开启了本地的 9092 端口, 程序中只须要链接这个端口, 不用管 ZooKeeper 的  2181 端口.

 阅读全文 >>