前面几章走马观花的介绍了elasticsearch、apm相关的内容。本片主要介绍怎么使用ELK Stack帮助咱们打造一个支撑起日产TB级的日志监控系统mysql
背景
在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。在生产环境上，日志扮演着很重要的角色，排查异常须要日志，性能优化须要日志，业务排查须要业务等等。然而在生产上跑着成百上千个服务，每一个服务都只会简单的本地化存储，当须要日志协助排查问题时，很难找到日志所在的节点。也很难挖掘业务日志的数据价值。那么将日志统一输出到一个地方集中管理，而后将日志处理化，把结果输出成运维、研发可用的数据是解决日志管理、协助运维的可行方案，也是企业迫切解决日志的需求。nginx
咱们的解决方案
经过上面的需求咱们推出了日志监控系统。sql
- 日志统一收集、过滤清洗。
- 生成可视化界面、监控，告警，日志搜索。
功能流程概览
- 在每一个服务节点上埋点，实时采集相关日志。
- 统一日志收集服务、过滤、清洗日志后生成可视化界面、告警功能。
咱们的架构
- 日志文件采集端咱们使用filebeat,运维经过咱们的后台管理界面化配置，每一个机器对应一个filebeat，每一个filebeat日志对应的topic能够是一对1、多对一，根据平常的日志量配置不一样的策略。除了采集业务服务日志外，咱们还收集了mysql的慢查询日志和错误日志,还有别的第三方服务日志，如:nginx等。最后结合咱们的自动化发布平台，自动发布并启动每个filebeat进程。
- 调用栈、链路、进程监控指标咱们使用的代理方式：Elastic APM，这样对于业务侧的程序无需任何改动。对于已经在运营中的业务系统来讲，为了加入监控而须要改动代码，那是不可取的，也是没法接受的。Elastic APM能够帮咱们收集http接口的调用链路、内部方法调用栈、使用的sql、进程的cpu、内存使用指标等。可能有人会有疑问，用了Elastic APM，其它日志基本均可以不用采集了。还要用filebeat干吗？是的，Elastic APM采集的信息确实能帮咱们定位80%以上的问题，可是它不是全部的语言都支持的好比：C。其2、它没法帮你采集你想要的非error日志和所谓的关键日志，好比：某个接口调用时出了错，你想看出错时间点的先后日志；还有打印业务相关方便作分析的日志。其3、自定义的业务异常，该异常属于非系统异常，属于业务范畴，APM会把这类异常当成系统异常上报，若是你后面对系统异常作告警，那这些异常将会干扰告警的准确度，你也不能去过滤业务异常，由于自定义的业务异常种类也很多。
- 同时咱们对agent进行了二开。采集更详细的gc、堆栈、内存、线程信息。
- 服务器采集咱们采用普罗米修斯。
- 因为咱们是saas服务化，服务N多，不少的服务日志作不到统一规范化，这也跟历史遗留问题有关，一个与业务系统无关的系统去间接或直接地去对接已有的业务系统，为了适配本身而让其更改代码，那是推不动的。牛逼的设计是让本身去兼容别人，把对方当成攻击本身的对象。不少日志是没有意义的，好比：开发过程当中为了方便排查跟踪问题，在if else里打印只是有标志性的日志，表明是走了if代码块仍是else代码块。甚至有些服务还打印着debug级别的日志。在成本、资源的有限条件下，全部全部的日志是不现实的，即便资源容许，一年下来将是一比很大的开销。因此咱们采用了过滤、清洗、动态调整日志优先级采集等方案。首先把日志全量采集到kafka集群中，设定一个很短的有效期。咱们目前设置的是一个小时，一个小时的数据量，咱们的资源暂时还能接受。
- Log Streams是咱们的日志过滤、清洗的流处理服务。咱们采用Kafka Streams做ETL流处理。经过界面化配置实现动态过滤清洗的规则。大概规则以下：
- 界面化配置日志采集。默认error级别的日志全量采集
- 以错误时间点为中心，在流处理中开窗，辐射上下可配的N时间点采集非error级别日志，默认只采info级别
- 每一个服务可配100个关键日志，默认关键日志全量采集
- sql日志按配置耗时过滤
- 高峰时段按业务类型的权重指标、日志等级指标、每一个服务在一个时段内日志最大限制量指标、时间段指标等动态清洗过滤日志
- 根据不一样的时间段动态收缩时间窗口
- 日志索引生成规则：按服务生成的日志文件规则生成对应的index，好比：某个服务日志分为：debug、info、error、xx_keyword，那么生成的索引也是debug、info、error、xx_keyword加日期做后缀。这样作的目的是为研发以原习惯性地去使用日志
7. 可视化界面咱们主要使用grafana，它支持的众多数据源中，其中就有普罗米修斯和elasticsearch，与普罗米修斯可谓是无缝对接。而kibana咱们主要用于apm的可视分析安全
日志可视化
出于安全考虑，公司线上可视化数据不便于使用，如下只是简单的上几张开发环境的效果图性能优化
权限认证服务器
分析可视化架构
声明：本文版权归做者和博客园共有，欢迎转载，但未经做者赞成必须在文章页面给出原文连接，不然保留追究法律责任的权利