日志分析 第一章 ELK介绍

1 ELK各组件介绍？

ELK Stack是elasticsearch、logstash、kibana是三个开源软件的组合，

fielbeat是一个轻量级日志收集工具，相似于Linux系统中tail -f监控文件变化的功能。

Logstash是一款开源的日志收集处理框架，负责数据的采集和格式化

Elasticsearch是一个开源的分布式搜索引擎，用于数据的快速索引存储。

Kibana负责提供web展现功能，Grafana是相似于kibana，也是对后端数据进行实时展现。

2 为何须要日志分析

闲扯淡。。。主要缘由是不想将时间花在帮开发或运营找各类日志上。。

日志主要包括系统级别日志，应用程序访问和错误日志。通常在没搭建日志分析系统以前获取日志，都是纯手工经过awk，sed，grep解决，而经过日志分析能够近乎时时查看日志，对于出现的致命错误日志，或者状态码异常等，能够经过配置报警策略之后短信、微信、rtx等报警。

3 拓扑图

为了帮你们进一步理解日志处理流程，画了一个拓扑图。

处理流程：

1. filebeat从不一样服务端收集日志转发给logstash处理。
2. logstash将filebeat收集的日志进行格式化处理，好比使用logstash的geoip插件，能够作到查看客户端IP地址信息，好比哪一个国家，哪一个城市。
3. 而后经过elasticsearch对格式化后的数据进行索引和存储，最后交由kibana或grafana展现。

简单来讲，进行日志处理分析，通常须要通过如下几个步骤：

1. 将日志进行集中化管理（filebeat）
2. 将日志格式化（logstash）
3. 对格式化后的数据进行索引和存储（elasticsearch）
4. 前端数据的展现（kibana/grafana）

简单就介绍就到这里了，咱们的日志分析系统将经过filebeat + logstash + elasticsearch + grafana实现。

没有选择kibana的缘由：

1. kibana界面太丑了
2. 对grafana情有独钟，对他感冒
3. open-falcon监控也是经过grafana出图（写完日志分析以后，会写open-falcon系列）