UAVStack之文件数据归集

本周咱们向你们介绍UAVStack中的文件数据归集功能。该功能能够有效解决日志查找费时和日志文件丢失等问题，帮助快速定位解决问题，规避日志访问权限可能带来的安全风险。

前言

在分布式微服务架构下，单个应用中每每包含不少实例。平常工做中，咱们经常须要查看应用运行过程当中产生的日志。但登录服务器从大量实例中查找目标日志耗时耗力；有时日志文件还会在应用重启过程当中丢失。

UAVStack的文件数据归集功能不只可以集中全部业务的日志，方便工程师更加轻松地查找相关日志，进而快速定位、解决问题；还能省去服务器权限授予环节，有效规避日志访问权限可能带来的安全风险。

架构

归集的文件数据包含应用日志、调用链跟踪、浏览器跟踪和线程分析的数据；也能够在启动参数中配置任意文件路径，配置其它任意文件；还支持UAVStack自身日志文件的归集控制。总体架构以下：

● Source：落盘后的数据文件，包括应用日志文件、调用链数据文件、浏览器数据文件和线程分析数据文件。

● 日志采集器：文件数据采集端，负责数据读取、过滤以及上送。

● Channel：数据消费队列，UAVStack使用的消息队列是RocketMQ。

● Sink：从Channel中拉取文件数据，分发到别处。UAVStack默认分发到数据库ElasticSearch，用于存储归集上送的文件数据。

采集模块

UAVStack的文件数据归集是MonitorAgent的Feature。MonitorAgent以守护进程的形式部署，如若死掉将会当即重启，重启后可继续归集文件数据。主要模块以下：

● 归集任务控制器：控制下发归集的任务，包括正在运行的任务和已存在的任务；定时轮询归集任务，构建可执行的归集任务。

● 归集任务调度器：定时调度归集任务。

● 任务：执行文件数据归集任务。

● 数据读取器：读取、过滤文件数据。

● 数据发布器：发布已读取上来的文件数据。

归集过程

● 开启归集：文件数据归集模块自动发现应用日志的画像信息，并进行处理，判断应用日志画像信息是否更新；用户可控制应用日志、调用链跟踪、浏览器跟踪和线程分析的归集功能。AppHub支持启停文件数据归集功能，可动态选择须要读取的文件。

● 归集任务下发：当用户触发归集后，AppHub端会开启文件数据归集任务并自动下发，生成数据归集任务，写到任务列表中，并持久化到本地文件task.cache中。

● 归集任务控制：定时任务轮询管理任务列表，分别构建可执行的归集任务,并经过ForkJoin提交。

● 文件数据读取：读取ForkJoin提交的每一个任务。其中须要处理的日志文件都是经过具体的类进行操做处理。这些类包括RandomAccessFile类，其中seek()方法随机访问文件，read()方法读取文件数据。另外，数据位置定时更新任务可以将读取到的数据的位置更新到本地文件position.cache，供下一次文件读取使用。

● 文件数据过滤：根据配置的日志策略，对读取的日志进行正则表达式的匹配过滤，完成日志数据取舍。

● 文件数据发布：归集上来的日志数据，可按照不一样的发布类型走不一样的发布实现逻辑，发布到指定的目的地。UAVStack默认发布到RocketMQ中，并支持自定义发布。

另外，HM服务拉取RocketMQ中指定topic的日志数据，处理成相应的格式后存储到ElasticSearch数据库中。

文件数据展现

经过AppHub能够查看归集上来的应用日志、调用链跟踪、浏览器跟踪和线程分析的文件数据。由AppHub调用后台服务的http查询接口，经过HM日志数据服务读取数据库，进行文件数据的查询和展现，以下图所示：

文件数据的展现效果以下：

● 支持查看不一样应用集群、应用实例和日志文件的归集数据。

● 支持按日、小时或分钟查看不一样时间的文件数据。

● 支持按升序或降序查看文件数据。

● 支持关键字搜索，多个关键字用空格分开，表示“或”链接，即任意一个关键字匹配便可；多个关键字用“+”分开，表示“与”链接，即全部关键字都匹配的日志信息；若是同时使用空格和“+”，则“或”链接优先；若是关键字首尾都加“*”，则表示模糊匹配，展现全部匹配结果。

● 点击单行日志，支持向前、向后滚动查看日志信息，以下图：

文件数据关联

对于归集上来的应用日志、调用链跟踪和浏览器跟踪数据，可进行相互关联；浏览器跟踪数据可关联调用链跟踪数据，调用链跟踪数据可关联应用日志数据，以下图所示：

文件数据预警

归集后的文件数据支持预警，可针对文件数据中是否出现关键字或者关键字出现的次数配置预警策略。预警策略触发后可经过邮件、短信、微信等方式通知用户，也可经过Http形式通知第三方应用系统。

总结

UAVStack的文件数据收集功能已被普遍使用，是具有较高可用性和可靠性的分布式服务。若是须要归集的日志量较大，仅需增长UAVStack自身的HM服务，可扩展性较强。

官方网站：https://uavorg.github.io/main/

开源地址：https://github.com/uavorg

UAVStack已在Github上开放源码，并提供了安装部署、架构说明和用户指南等双语文档，欢迎访问-给星-拉取~~~

做者： 段德华 宜信技术学院