ELK学习

 　　大型网站遇到性能瓶颈或发生故障时，分析日志每每是发现问题根源最有效的手段。 传统的日志分析手段不外乎如下几类:

1. 运维人员用脚本grep，分析再汇总
2. 经过流式计算引擎,storm/spark实时产生汇总 数据，供监控分析
3. 将数据堆放到HDFS，以后经过map/reduce按期作批量分析

 

一个完整的集中式日志系统，须要包含如下几个主要特色：

 

• 收集－可以采集多种来源的日志数据
• 传输－可以稳定的把日志数据传输到中央系统
• 存储－如何存储日志数据
• 分析－能够支持 UI 分析
• 警告－可以提供错误报告，监控机制

 

ELK提供了一整套解决方案，而且都是开源软件，之间互相配合使用，完美衔接，高效的知足了不少场合的应用。目前主流的一种日志系统。

 

基于ELK（Elasticsearch , Logstash, Kibana）的解决方案则提供了另一种思路，利用搜索引擎将数据索引发来，支持实时的多维度组合查询和聚合分析。 这很是契合问题排查过程，即先经过上层统计数据发现数据异常之方向，再经过不断细化过滤条件缩小范围， 实现对日志的下钻式分析。 ELK上手成本虽低，扩展到海量数据规模场景却很不易。不少用户面临诸如集群稳定性差，写入吞吐量不理想， 查询速度慢，安全把控头痛，不知道如何监控等问题。

某旅行网从2013年开始基于ELK打造实时日志分析平台， 不到2年时间，集群结点从5个增加到30多个，日处理数据从亿级到百亿级，集群从不稳定到连续200多天没出任何故障。 

 

ELK简介

ElasticSearch是一个基于Lucene的搜索分布式服务器，便于存储和检索数据；

Logstash是一个开源的日志收集管理工具，用于往ES中写入数据；

Kibana是一个开源的分析与可视化平台，用于高级数据分析与可视化。

1、ElasticSearch学习

Elasticsearch环境搭建和介绍（Windows） 

Elasticsearch-head使用及ES相关概念

 悦光阴  ElasticSearch入门系列

Elasticsearch系列文章

 

狂乱的贵公子 【好文】

中文书籍（官网）：Elasticsearch: 权威指南

ELK（Elasticsearch/Logstash/Kibana）概念学习系列

ELK原理与介绍

2、FileBeat

官网学习

日志采集器。用于转发和汇总日志与文件，让简单的事情再也不繁杂。

Beats是用于单用途数据托运人的平台。它们以轻量级代理的形式安装，并未来自成百上千台机器的数据发送到Logstash或Elasticsearch。

（画外音：通俗地理解，就是采集数据，并上报到Logstash或Elasticsearch）

Beats能够直接（或者经过Logstash）将数据发送到Elasticsearch，在那里你能够进一步处理和加强数据，而后在Kibana中将其可视化。

logstash 和filebeat都具备日志收集功能，filebeat更轻量，占用资源更少，但logstash 具备filter功能，能过滤分析日志。

通常结构都是filebeat采集日志，而后发送到消息队列，redis，kafaka。而后logstash去获取，利用filter功能过滤分析，而后存储到elasticsearch中。

关于Filebeat，记住两点：

• 轻量级日志采集器
• 输送至 Elasticsearch 或 Logstash，在 Kibana 中实现可视化

开始配置使用filebeat以前，你须要安装并配置好这些依赖程序：

Elasticsearch 做为存储和索引这些数据。

Kibana 做为展现平台。

Logstash（可选）去插入数据到elasticsearch。

开始使用Filebeat  【参考的基于linux的】  和  Logstash 一块儿用。

windows下安装使用filebeat

ELK 架构和 Filebeat 工做原理详解

 

3、Logstash

　　Logstash是一个开源的服务器端数据处理管道，能够同时从多个数据源获取数据，并对其进行转换，而后将其发送到你最喜欢的“存储”。（固然，咱们最喜欢的是Elasticsearch）

参考：Logstash

 

4、Kibana

Kibana 是一个设计出来用于和 Elasticsearch 一块儿使用的开源的分析与可视化平台，能够用 kibana 搜索、查看、交互存放在Elasticsearch 索引里的数据，使用各类不一样的图表、表格、地图等展现高级数据分析与可视化，基于浏览器的接口使你能快速建立和分享实时展示Elasticsearch查询变化的动态仪表盘，让大量数据变得简单，容易理解。

Kibana 的安装（Windows版本） 【要下载和elasticSearch同样的版本】

Kibana（一张图片赛过千万行日志）

Kibana快速上手

Kibana入门教程 【请求的时候 参考postman中保存的记录】