如何离线分析Kafka海量业务消息？1分钟快速为您支招

场景介绍

提及Kafka，许多使用者对它是又爱又恨。Kafka是一种分布式的、基于发布/订阅的消息系统，其极致体验让人欲罢不能，但操心的运维、复杂的安全策略、可靠性易用性的缺失等，仍须要使用者付出诸多的背后工做。即便你是Kafka老手，也不免会有上述一样的烦恼。

 

与其整日操心Kafka的部署，不如试试云上Kafka带给你的惊喜？目前国内主流的云服务厂商均提供了云上的Kafka服务，为应用系统提供异步的消息队列服务。经过高可用的消息缓冲队列，实现应用解耦、突发流量处理及与第三方的互通和集成，具备大规模、高可靠、高并发访问、可扩展且彻底托管的特色。好比华为云分布式消息服务DMS，帮助云端的应用程序组件去耦合，具备很高的成本效益。DMS拥抱开源，提供支持兼容开源Kafka接口，用户可无缝迁移，按需使用。

 

分布式消息服务（Distributed Message Service，简称DMS）Kafka专享版支持采集增量的交易消息数据并上传到华为云对象存储服务（Object Storage Service，简称OSS），经过实时流计算框架（例如Flink）或者华为云实时流计算服务（Cloud Stream Service, 简称CS）分析上传的交易数据，可以分析出最近交易指标等信息，以支持用户交易作决策。

 

申请环境与资源

1.开启转储

▲在更多列中点击开启转储便可开启消息转储功能

 

2.建立转储任务

等待开启转储任务完成后，便可以添加转储任务进行转储，点击实例连接进入实例管理里有转储管理页签，经过点击建立转储任务便可建立消息转储任务进行消息的转储，以下：

 

点击后，会弹出建立转储任务的详情：

 

须要填入打星号的必填参数。这里主要关注要填入的参数Topics，即须要转储的Topic名称，支持多个Topic的输入或者正则表示的方式去订阅Topic消息，并把消息内容上传到OBS桶中。点击转储地址行中的选择按钮，弹出选择数据转储地址，会列出那些OBS桶能够被转储。

 

须要一提的是，若是没有OBS桶，则须要建立一个OBS桶用来存放DIS转储的数据。

 

3.查看转储任务

建立转储任务后，能够在转储管理页中看到这个任务信息，点击查看转储信息，能够实时查看转储Topic的消息转储进度。

 

 

查看OBS信息与分析数据

登陆华为云OBS能够查看到转储地址桶的中存在分区的文件，已经按照转储时设定的时间格式上传到dms-obs桶中。

 

可使用Flink等实时数据对上传目录的文件内容进行分析，获得分析后汇总结果展现便可。