Kafka-为何选择kafka(kafka的优势)

Kafka-为何选择kafka(kafka的优势)

多个生产者

kafka能够无缝的支持多个生产者，无论客户端在使用单个主题仍是多个主题。因此它很适合用来从多个前端系统手机数据，并以同一的格式对外提供数据。

例如:一个包含了多个微服务的网站，能够为页面视图建立一个单独的主题，全部服务都以相同的消息格式向该主题写入数据。消费者应用程序会得到统一的页面视图，而无需协调来自不一样生产者的数据流。

多个消费者

kafka支持多个消费者从一个单独的消息流上读取数据，并且消费者之间互不影响。这与其余队列系统不一样，其余队列系统的消息一旦被一个客户端读取，其余客户端就没法再读取它。

另外，多个消费者能够组成一个群组，它们共享一个消息流，并保证整个群组对每一个给定的消息只处理一次。

基于磁盘的数据存储

kafka容许消费者非实时地读取消息，这要归功于kafka的数据保留特性。

消息被提交到磁盘，根据设置的保留规则进行保存。每一个主题能够设置单独的保留规则，以便知足不一样消费者的需求，各个主题能够保留不一样数量的消息。

消费者可能会由于处理速度慢或突发的流量高峰致使没法及时读取消息，而持久化数据能够保证数据不会丢失。

消费者能够被关闭，但消息会继续保留在kafka里。消费者能够从上次中断的地方继续处理消息。

伸缩性

为了可以处理大量数据，kafka从一开始就被设计成一个具备灵活伸缩性的系统。

用户在开发阶段能够额先使用单个broker，再扩展到包含三个broker的小型开发集群，而后随着数据量不断增加，部署到生产环境的集群可能包含上百个broker。对在线集群进行扩展，丝绝不影响总体系统的可用性。一个包含多个broker的集群，即便个别broker失效，仍然能够持续地为客户提供服务。要提升集群的容错能力，须要配置较高的复制系数。

高性能

经过横向扩展生产者、消费者和broker，kafka能够轻松处理巨大的消息流。在处理大量数据的同时，它还能保证亚秒级的消息延迟。

 

使用场景

1.活动追踪

kafka最初的使用场景是跟踪用户的活动。网站用户与前端应用程序发生交互，前端应用程序生成用户活动相关的消息。这些消息能够是一些静态的信息，好比页面访问次数和点击量，也能够是一些复杂的操做，好比添加用户资料。这些消息被发布到一个或多个主题上，由后端应用程序负责读取。这样，咱们就能够生成报告，为机器学习系统提供数据，更新搜索结果，或者实现其余更多功能。

2.传递消息

kafka的另外一个基本用途是传递消息。应用程序向用户发送通知就是经过传递消息来实现的。

这些应用程序组件能够生成消息，而不须要关心消息的格式，也不须要关心消息时如何被发送的。一个公共应用程序会读取这些消息，对它们进行处理：

l 格式化消息

l 将多个消息放在同一个通知里发送

l 根据用户配资的首选项来发送数据

使用公共组件的好处在于，不须要在多个应用程序上开发重复的功能，并且能够再公共组件上作一些有趣的转换，好比把多个消息聚合成一个单独的通知，而这些工做是没法在其它地方完成的。

3.度量指标和日志记录

kafka也能够用于收集应用程序和系统度量指标以及日志。

应用程序按期把度量指标发布到kafka主题上，监控系统或告警系统读取这些消息。

kafka也能够用在像Hadoop这样的离线系统上，进行较长时间片断的数据分析，好比年度增加走势预测。

日志消息也能够被发布到kafka主题上，而后被路由到专门的日志搜索系统（好比ES）或安全分析应用程序。更改目标系统不会影响到前端应用或聚合方法。

4.提交日志

kafka的基本概念来源于提交日志，因此使用kafka做为提交日志是件瓜熟蒂落的事。咱们能够把数据库的更新发布到kafka上，应用程序经过监控事件流来接收数据库的实时更新。这种变动日志流也能够用于把数据库的更新复制到远程系统上，或者合并多个应用程序的更新到一个单独的数据库视图上。数据持久化为变动日志提供了缓冲区，若是消费者应用程序发生故障，能够经过重放这些日志来恢复系统状态。

紧凑型日志主题只为每一个键保留一个变动数据，因此能够长时间使用，不须要担忧消息过时问题。

5.流处理

流处理是有一个能提供多种类型应用程序的领域。操做的是实时数据流，较小的时间片断，而Hadoop处理更长时间片断的数据，多是几个小时或者几天，Hadoop会对这些数据进行批处理。