云上kafka和自建kafka对比

提及Kafka，许多使用者对它是又爱又恨。Kafka是一种分布式的、基于发布/订阅的消息系统，其极致体验让人欲罢不能，但操心的运维、复杂的安全策略、可靠性易用性的缺失、算不上极致的性能发挥、并不丰富的消息服务功能，仍须要使用者付出诸多的背后工做。即便你是Kafka老手，也不免会有上述一样的烦恼。

 

与其整日操心Kafka的部署，不如试试云上Kafka带给你的惊喜？目前国内主流的云服务厂商均提供了云上的Kafka服务，为应用系统提供异步的消息队列服务。经过高可用的消息缓冲队列，实现应用解耦、突发流量处理及与第三方的互通和集成，具备大规模、高可靠、高并发访问、可扩展且彻底托管的特色。好比分布式消息服务DMS，帮助云端的应用程序组件去耦合，具备很高的成本效益。DMS拥抱开源，提供支持兼容开源Kafka接口，用户可无缝迁移，按需使用。

 

 

DMS优点

全面兼容Kafka 提高效率

兼容开源

业务系统基于开源的Kafka进行开发，只需加入少许认证安全配置，便可使用DMS的Kafka队列，作到无缝迁移。

 

消息互通

支持消息多通道，DMS接口可对Kafka队列进行消息收发，也可用开源Kafka client进行消息收发。

 

安全保证

独有的安全加固体系，提供业务操做可回溯，消息存储加密及租户间有效隔离等有效安全措施。

 

高可靠及可用无忧运维

数据高可靠

消息持久化，多副本存储。

 

服务高可用

后台多集群部署，支持故障自动迁移和容错，保证用户关键业务的可靠运行。

 

无忧运维

提供一整套完整的监控告警等运维服务，故障自动发现和告警，避免7*24小时人工值守。

 

核心特性

细粒度灵活控制

DMS支持RBAC(基于角色访问控制)和PBAC(基于策略访问控制)两种访问控制模式，从而提供更加安全灵活的访问策略。能够实现消息队列粒度和API调用动做的安全策略访问控制，结合华为云的IAM服务，能够知足用户几乎全部对消息服务使用的安全要求。

 

多协议的访问

DMS提供多种协议接入方式，包括1）HTTP 符合REST规范标准的接入，支持多种语言接入使用，并支持云内及云外访问。2）基于TCP的简单SDK方式，提供更加高性能的访问接口；另外，还提供兼容开源Kafka的开放接口，可以更好地帮助用户把使用Kafka的应用快速上云。

 

分布式可靠集群和海量队列能力

内建的分布式集群技术，使得服务具备高度扩展性；无限扩展的队列数量和可扩展的高性能机制，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。内建消息冗余存储，保证消息存储的可靠性，有效避免服务节点故障。

 

死信管理

死信是在消费环节为用户提供一种不能正常处理消息时的可选方案，防止因个别消息不正常致使后续消息都不能被消费，形成业务阻塞。DMS为用户提供可视化死信开关和参数配置，并提供API接口。在不开启死信队列功能时，对于确认失败或超时的消息，系统会进行回滚并重投递。不管是否开启死信功能，DMS服务都会保证消息不丢失。

 

自定义消息功能

DMS除提供消息队列的核心功能外，还提供额外的加强能力，为用户提供高收益、低成本的极具性价比的消息服务。消息消费重置容许用户设置任一可消费的时间点控制向前或向后消费进度，提升消费的灵活性；基于消息标签的消息过滤可实现选择性地消费包含指定标签的消息；支持消息属性，每条消息上均可以设置不一样的属性。

 

无忧运维

消息服务是云原生服务，整个消息服务的运维对用户透明。用户无需关心后台运维状况，只需关注自身涉及的消息队列指标，支持对入队消息数、请求数、已经消费的消息数、消息堆积数量等状况的监控，并支持配置告警规则，用户能够在第一时间经过短信、邮件等得到业务消息队列的运行使用和负载状态。

 

适用场景

业务解耦

将业务中依赖其余系统同时属于非核心或不重要的部分使用消息服务，无需同步等待其余系统的处理结果。如电商网站获取用户订单后，信息放入消息队列，会从队列里读取出库、发货任务信息而后执行。

 

最终一致性

用于两个系统的状态最终保持一致，或都成功或都失败。如用于交易系统的高可靠数据传递，实现跨系统的事务最终一致，下降实现难度和成本；如预约门票及软件打车。

 

错峰流控

上下游系统处理能力有差别时，可使用消息服务转储系统之间的通讯数据，提供消息堆积缓冲能力，在下游系统有能力处理消息的时候再处理，减小拥塞、系统崩溃等问题，提升系统的可用性，下降复杂性。如高峰时段的注册、抢购、预定等。

 

日志同步

应用经过可靠异步方式将日志消息同步到消息服务，再经过其余组件对日志作实时或离线分析,也可用于关键日志信息收集，进行应用监控。如注册时用户填写的我的信息等。

 

现阶段DMS无偿使用喔！一分钟玩转Kafka，就是这么简单~