Kafka入门初探+伪集群部署

Kafka是目前很是流行的消息队列中间件，经常使用于作普通的消息队列、网站的活性数据分析（PV、流量、点击量等）、日志的搜集（对接大数据存储引擎作离线分析）。

所有内容来自网络，可信度有待考证！若有问题，还请及时指正。

概念介绍

在Kafka中消息队列分为三种角色:

• producer，即生产者，负责产生日志数据。
• broker，存储节点，负责按照topic中的partition分区，均匀分布式的存储分区。
• consumer，即消费者，负责读取使用broker中的分区。

producer

Kafka系统中的生产者，用于产生数据并发送给broker进行存储。因为须要与broker中的分区保持socket链接，所以须要在zk中维护生产者与分区broker的对应关系。同一个topic下的数据，会以某种负载均衡的方式发送到不一样的分区中。

broker

Broker能够当作Kafka中的存储节点，数据按照topic组织，按照某种负载均衡方式分配到不一样的分区中。一个Topic由多个分区组成，每一个分区能够设置备份数量。分区由一个leader+多个followers组成，生产者直接与leader进行沟通，leader接收消息后，其余的followers会同步这个消息。全部的follwers同步消息后，该消息才会成为可消费的状态。

Broker中Topic与分区，分区与生产者，分区之间的选举备份等等信息都须要ZK进行协调。

consumer

Consumer是Kafka中的消费者，一般以组的形式存在，一个Group会包含多个Consumer。每一个组对应一个Topic，该Topic内的分区只能对应一个消费者，也就是若是消费者不少的状况下，会出现有的消费者消费不到数据；若是消费者不多的状况下，会有消费者同时消费多个分区的数据。

Kafka仅仅会保证一个分区的消息的消费是有序的，多个分区并不保证有序性。

为了保证数据消费的可靠性，Kakka提供了几种消费的机制：

• 1 at most once，即消费数据后，保存offset，就再也取不到这个数据了。
• 2 at least once，即消费数据后，保存offset，若是保存出错，下次可能还会取到该数据
• 3 exactly once，待查阅

在Kafka中offset是由consumer维护的（实际能够由zk来完成）。这种机制有两个好处，

• 一个是能够依据consumer的能力来消费数据，避免产生消费数据的压力；
• 另外一个就是能够自定义fetch消费的数据数目，能够一次读取1条，也能够1次读取100条。

topic

Kafka中的数据的主题，全部的操做（如消息的存储和读取\消费）都是依据topic完成。

partition

每一个Topic由多个分区组成，每一个分区内部的数据保证了有序性，便是按照时间序列，append到分区的尾部。分区是有固定大小的，容量不够时，会建立新的分区。Kafka在必定时间内会按期清理过时的文件。

这种连续性的文件存储，一方面有效的利用磁盘的线性存取；另外一方面减轻了内存的压力。

zookeeper

在Kafka中不少节点的调度以及资源的分配，都要依赖于zookeeper来完成。
如：

• 1 Broker的注册，保存Broker的IP以及端口；
• 2 Topic注册，管理broker中Topic的分区以及分布状况
• 3 Broker的负载均衡，讲Topic动态的分配到broker中，经过topic的分布以及broker的负载判断
• 4 消费者，每一个分区的消息仅发送给一个消费者（不知道跟zookeeper有啥关系）
• 5 消费者与分区的对应关系，存储在zk中
• 6 消费者负载均衡，一旦消费者增长或者减小，都会触发消费者的负载均衡
• 7 消费者的offset，High level中由zk维护offset的信息；Low Level中由本身维护offset

伪集群环境的搭建

部署伪集群环境，即单节点环境很是简单。下载部署文件，解压后，直接运行便可。

运行命令以下：

# 启动zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties &  

# 启动kafka
bin/kafka-server-start.sh config/server.properties &

若是想要测试，能够启动测试程序：

# 启动生产者测试程序
./kafka-console-producer.sh --broker-list localhost:9092 --topic test

# 启动消费者测试程序
./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

在生产者界面输入的内容，就能够直接在消费者界面中看到了。