知识链-消息中间件

消息中间件

Kafka

Kafka它本质上是一个消息系统，不一样于传统的企业信息队列系统，它是以近乎实时的方式处理流经一个公司的全部数据，目前已经服务于LinkedIn、Netflix、Uber以及Verizon，并为此创建了实时信息处理平台。

应用场景：

1.Kafka能够应用于消息系统，好比，当下较为热门的消息推送，这些消息推送系统的消息源，能够使用Kafka做为系统的核心组建来完成消息的生产和消息的消费。

2.网站的行迹，咱们能够将企业的Portal，用户的操做记录等信息发送到Kafka中，按照实际业务需求，能够进行实时监控，或者作离线处 理等。

3.日志收集，相似于Flume套件这样的日志收集系统，但Kafka的设计架构采用push/pull，适合异构集群，Kafka能够批 量提交消息，对Producer来讲，在性能方面基本上是无消耗的，而在Consumer端中，咱们能够使用HDFS这类的分布式文件存储系统进行存储。

架构原理：Kafka对消息的保存是根据Topic进行归类的，由消息生产者（Producer）和消息消费者（Consumer）组成，另外，每个 Server称为一个Broker。对于Kafka集群而言，Producer和Consumer都依赖于ZooKeeper来保证数据的一致性。

Kafka实战－入门

Kafka实战－Kafka Cluster

Kafka实战－简单示例