阿里UC百亿PV的前端监控平台:（3）日志存储

时间 2019-11-05

标签阿里百亿前端监控平台日志存储栏目阿里巴巴繁體版

原文原文链接

本文首发于知乎《阿里UC百亿级PV的前端监控平台实践》，搬运转载请注明出处，不然追究版权责任。javascript

阿里UC百亿PV的岳鹰全景监控平台实践系列文章：html

前言

Web承载的业务愈来愈复杂，用户对于Web的体验要求也愈来愈高，Web性能的优劣对业务收益也有着很是直接的影响。前端

本文主要介绍阿里UC百亿级PV前端监控平台，岳鹰全景监控平台的实践历程 - 日志存储，阅读时长 5 分钟。java

日志采集上报到服务器，接下来须要在服务端清洗存储，用于后续问题的查询分析。git

对于小应用，可能用数据库单库单表加索引优化就足够了。而一个成规模甚至大流量的应用，须要建设更稳定、高效的日志监控服务，就得在日志存储架构上下一些功夫。github

目前业界有很多比较完备的日志存储方案，主要有Hbase系和Lucene系，应用在监控领域比较有表明性的有时序数据库 OpenTSDB 和全文检索搜索引擎 Elasticsearch 。web

在数据存储阶段，核心的使用场景在于不一样数据维度的灵活查询，逐层分析对比各个维度的数据快速定位到问题，而这刚好能够利用elasticsearch的检索特性，所以咱们选择使用elasticsearch做为主要的存储方案。数据库

即便对于一个最小集合的elasticsearch集群，也能够比较 轻松实现天天千万级别 的日志量的存储和查询。小程序

而在天天上亿甚至几十亿日志的场景下，日志存储系统就须要经过一些架构设计来解决数据量大，数据结构不规律，写入并发高，查询统计需求大等特性带来的问题。微信小程序

在咱们的实践场景下，经过利用批量写入、写入缓冲、表设计（按照时间/业务扩展）等索引设计和优化，能够实现 天天100亿级别的日志存储秒级查询，而且随时经过横向扩展实现扩容。具体方案业界上也比较成熟，这里就再也不作更多讨论，有兴趣的筒子能够私我讨论。

阿里UC出品的岳鹰全景监控平台，支持移动H五、PC站点、微信小程序以及支付宝小程序等各家小程序，PV、JS异常、页面性能等监控指标完整，已经对外开放，欢迎免费体验试用。

技术交流、第一时间掌握产品动态，欢迎联系微信小助手～