基于spark之上的即席分析-日志分析场景

YDB 场景精选之运维日志、 业务日志、 交易流水日志的搜索与分析

经过方便灵活的日志搜索分析，帮助用户及时发现问题

统一日志查询平台，程序故障定位平台

开发与运维人员常常须要登陆线上生产系统， 经过 grep、 tail、 more、 cat 等命令去生产系统里查找故障缘由， 排查效率很慢。 且在生产系统运维人员因错误的使用调试命令致使生产系统宕机的状况路见不鲜。

组建一个统一的日志查询管理平台很是重要， 开发人员能够像使用百度那样在日志平台里快速的检索与分析日志，快速定位问题。 日志分析与生产系统分离，即保障了生产系统的安全， 也省去了登陆服务器的操做， 提升了运维的效率与质量。

一个大型的系统， 会有多种不一样的业务子系统，这些系统的日志散落在不一样的机器的每一个角落。在统一日志查询平台能够跨越多个业务子系统进行日志的关联分析， 对业务总体进行全局分析。

交易流水搜索

物流系统，网站，运营商，证券交易所，零售商天天有大量的销售，访问日志。 会有客户投诉扣费不许确，或者帐户资金丢失的问题，须要客服人员对这些日志进行分析、过滤、筛选 从而追踪真实的扣费细节，在那个环境支付出现了异常，若是帐户被盗，资金最终流向了哪里，尽可能减小用户的损失。

核心功能根据关键词， ID、时间等快速定位日志

1. 系统问题定位 排查系统故障

2. 根据日志分析，系统性能与网络瓶颈

3. 若是用户投诉能够经过交易号定位用户交易日志，定位哪一个环节的支付出现异常

数据量太大，检索成难题

现如日志分析已经不是什么新鲜事，可是数据量特别庞大，普通的传统数据库已经承受不了这么大规模的日志存储，就更别提日志分析了。以笔者成有幸在在腾讯工做期间，研发并设计了腾讯的Hermes 系统， Hermes 当时天天存储的日增量为天天 3600 多亿（截止去年 16 年 10 月，为天天 7000亿），总的数据存储量在万亿规模。