高性能消息队列（MQ）Kafka 简单由来介绍（1）

 

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它能够处理消费者在网站中的全部动做流数据。 这种动做（网页浏览，搜索和其余用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据一般是因为吞吐量的要求而经过处理日志和日志聚合来解决。 对于像Hadoop同样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是经过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了经过集群来提供实时的消

 

1 名字的由来
2 kafka的诞生
3 特性
4 相关术语介绍

 

============================== 1.名字的由来 ==============================
kafka的架构师jay kreps对于kafka的名称由来是这样讲的，因为jay kreps很是喜欢franz kafka,而且以为kafka这个名字很酷，所以取了个和消息传递系统彻底不相干的名称kafka，取名字是并无特别的含义。

============================== 2.kafka的诞生编辑 ============================== 
kafka的诞生，是为了解决linkedin的数据管道问题，期初linkedin采用了ActiveMQ来进行数据交换，大约是在2010年先后，那时的ActiveMQ还远远没法知足linkedin对数据传递系统的要求，常常因为各类缺陷而致使消息阻塞或者服务没法正常访问，为了可以解决这个问题，linkedin决定研发本身的消息传递系统，当时linkedin的首席架构师jay kreps便开始组织团队进行消息传递系统的研发；

============================== 3.特性编辑 ============================== 
Kafka 是一种高吞吐量 的分布式发布订阅消息系统，有以下特性：
经过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即便数以TB的消息存储也可以保持长时间的稳定性能。
高吞吐量 ：即便是很是普通的硬件Kafka也能够支持每秒数百万的消息。
支持经过Kafka服务器和消费机集群来分区消息。
支持Hadoop并行数据加载。
Kafka经过官网发布了最新版本2.3.0

==============================  4.相关术语介绍 ============================== 
Broker
Kafka集群包含一个或多个服务器，这种服务器被称为broker
Topic
每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不一样Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic便可生产或消费数据而没必要关心数据存于何处）
Partition
Partition是物理上的概念，每一个Topic包含一个或多个Partition.
Producer
负责发布消息到Kafka broker
Consumer
消息消费者，向Kafka broker读取消息的客户端。
Consumer Group
每一个Consumer属于一个特定的Consumer Group（可为每一个Consumer指定group name，若不指定group name则属于默认的group）。

 

============================== 下期预告： ============================== 

下一篇博文将介绍 Win10 环境下 使用 Kafka 的环境配置，谢谢你们。