大容量日志管理

1、启航

• 采用 ELK 搭建的日志采集与分析平台

• Logstash （ Collection ）、 Elasticsearch （ Storage+Retrieval ）、 Kibana （ View ）

 

解析：

• Elasticsearch 是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放 REST 和 JAVA API 等结构提供高效搜索功能，可扩展的分布式系统。它构建于 Apache Lucene 搜索引擎库之上。

• Logstash 是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它能够从许多来源接收日志，这些来源包括 syslog 、消息传递（例如 RabbitMQ ）和 JMX ，它可以以多种方式输出数据，包括电子邮件、 websockets 和 Elasticsearch 。

• Kibana 是一个基于 Web 的图形界面，用于搜索、分析和可视化存储在 Elasticsearch 指标中的日志数据。它利用 Elasticsearch 的 REST 接口来检索数据，不只容许用户建立他们本身的数据的定制仪表板视图，还容许他们以特殊的方式查询和过滤数据。

• 检索的方式，知足Lucence的语法（https://blog.csdn.net/m0_37913549/article/details/78989078）

 

2、进化

•告警日志格式升级

支持可检索的日志格式升级，定义便于运营的日志规范。

•日志级别控制：统一降为info

•规范研发打印入口，提供说明。

 

3、详解

Logstash

• 3 stages :  in-memory bounded queues between pipeline stages

  inputs → filters → outputs

• Inputs: (  Inputs generate events )

  file、syslog(port:514)、redis、filebeat

• Filters:( filters modify events )

  grok、drop、clone、muate、ruby、uuid

• Outputs ( outputs ship events elsewhere )

  elasticsearch、file、redis、kafka

Codes: (Codecs enable you to easily separate the transport of your messages from the serialization process)

  json、multiline

4、后续改造

• 目前的架构 Logstash 在各计算机点上占用系统资源较高

• Filebeat 是一个轻量友好的工具，用来从目标服务器中收集文本日志而后而后转发给 Logstash 实例进行处理，其实就是一个 Logstash 的轻量前端文本收集代理

• 参考 :https://www.cnblogs.com/richaaaard/p/6109595.html