Elk日志分析系统

日志分析是运维工程师解决系统故障、发现问题的主要手段。日志包含多种类型，包括程序日志、系统日志以及安全日志等。经过对日志的分析，既能够作到未雨绸缪、预防故障的发生，又能够在故障发生时，寻找蛛丝马迹、快速定位故障点。管理员也能够经过体制了解到服务器的软件信息、硬件信息、服务器负荷以及安全性相关的信息，如服务器是否被非法操做、磁盘空间是否即将耗尽、内存是否严重不足等。经过这些分析，管理员能够及时采起措施。一般状况下，每台服务器或者客户端都会产生日志，相对而言，服务器日志更加剧要，由于它存放着企业的重要数据，同时做为服务器提供者，一旦出现问题，将影响全部客户端的使用。一些大型的机房或者数据中心通常不会给服务器配置显示设备，而逐台远程登陆设备查看日志，须要每次系统认证成功后执行，且效率低下。
广泛的作法就是日志的集中管理，既将全部服务器的日志集中发送到到日志服务器中，如开源的Syslog。好处是能够集中查看全部服务器的日志，减轻了工做量，从安全性的角度来看，这种集中日志管理能够有效查询以及跟踪服务器日志被非法操做的行为，由于*非法进入的一瞬间，一些安全日志已经被发送到日志服务器。好比银行的监控系统，窃贼一旦发现监控设备，及时当即破坏这些设备也于事无补，由于监控画面早已经发送至监控服务器器中。采用集中化管理日志，也存在一些不足，如针对日志的分析以及查找将变得十分困难，对日志的逐条检查虽然能够获取有价值的信息，可是工做量十分庞大，像Apache这样的Web网站天天都有可能产生上万条日志。Linux虽然提供了文字编辑类的工具命令（如grep、awk、wc等），能够快速定位已知关键字的日志内容，却没法快速定位未知错误日志。当面对更高要求的查询、排序、统计以及数据分析时，加之庞大的机器数量。这些工具不免力不从心。开源实时日志分析系统——ELK**应运而生。
ELK主要由三个开源工具组成：
Elasticsearch：是个开源分布实时分析搜索引擎，创建在全文搜索引擎库Apache Lucens基础上，同时隐藏了Apache Luces的复杂性。Elasticsearch将全部的功能打包成一个独立的服务，并提供了一个简单的RESTful API接口，它具备分布式、零配置、自动发现、索引自动分片、索引副本机制、RESTful风格接口、多数据源、自动搜索负载等特色；
Logstash：是一个彻底开源的工具，主要用于日志收集，同时能够对数据处理，并输出到Elasticsearch；
Kibana：也是一个开源和免费的工具，Kibana能够为Logstash和Elasticsearch提供图形化的日志分析Web界面，能够汇总、分析和搜索重要数据日志；
ELK的工做原理，如图：

大体意思就是：Logstash收集APPServer产生的Log，并存放到Elasticsearch群集中，而Kibana则从群集中查询数据生成图表，在返回给Browser。
简单来讲，进行日志处理分析，通常须要通过如下几个步骤：
（1）将日志进行集中化管理；
（2）将日志格式化（Logstash）并输出到Elasticsearch；
（3）对格式化后的数据进行索引和存储（Elasticsearch）；
（4）前端数据的展现（Kibana）；
下面开始详细介绍构建ELK日志分析系统的三个工具：
1.Elasticsearch概述
Elasticsearch是一个基于Lucene的搜索服务器，它稳定、可靠、快速，并且具备比较好的水平扩展能力、为分布式环境设计、在云计算中被普遍应用。Elasticsearch提供了一个分布式多用户能力的全文搜索引擎，基于RESTful Web接口。经过该接口，用户能够经过浏览器和Elasticsearch通讯。Elasticsearch使用Java开发的，并做为Apache许可条款下的开放源码分布。Wikipedia、Stack、Overflow、GitHub等基于Elasticsearch来构建搜索引擎，因此具备实时搜索、稳定、可靠、快速、安装使用方便等特色。
Elasticsearch的基础核心概念：
接近实时（NRT）：Elasticsearch是一个搜索速度接近实时的搜索凭条，相应速度很是快，从搜索一个文档直到这个文档可以被搜索到只有一个轻微的延迟（通常状况下是1s）；
群集（cluster）：群集就是由一个或多个节点组织在一块儿，在全部的节点上存放用户数据，并一块儿提供索引和搜索功能，经过选举产生主节点，并提供跨节点的联合索引和搜索的功能。每一个群集都有一个标示的名称，默认是Elasticsearch，每一个节点是居于群集名字加入到其群集中的，一个群集能够只有一个节点，为了具有更好的容错性，一般配置多个节点，在配置群集时，建议配置为群集模式；
节点（node）：是指一台单一的服务器，多个节点组织为一个群集，每一个节点都存储数据并参与群集的索引和搜索功能。和群集同样，节点也是经过名字来标识的，默认状况下，在节点启动时会随机分配字符名，也可自定义。经过指定群集名称，节点能够加入到群集中。默认状况下，每一个节点均可以加入Elasticsearch群集。若是群集中有多个节点，它们将会自动组建一个名为Elasticsearch的群集；
索引（Index）：相似于关系型数据库的中的“库”。当索引一个文档后，就可使用Elasticsearch搜索到该文档，也能够简单地将索引理解为存储数据的地方，能够方便地进行全文索引。在index下面包含存储数据库的类型（Type），TYPE相似于关系型数据库中的“表”，用来存放具体数据，而Type下面包含文档（Document），文档至关Yui关系型数据库的“记录”，一个文档是一个可被索引的基础信息单元；
分片和副本：Elasticsearch将索引分为若干部分，每一个部分称为一个分片，每一个分片就是一个全功能的独立的索引。分片的数量通常在索引建立前指定，且建立索引后不能更改；
分片的两个最主要的缘由：
（1）水平分割扩展，增大存储量；
（2）分布式并行跨分片操做，提升性能和吞吐量；
一个合格的数据存储方案要求不管何种故障（如节点不可用）下数据均可用，而且具备较高的存储效率。为此，Elasticsearch将索引分片复制一份或多份，称为副本。副本是索引的另外一个备份，用于数据冗余以及负载分担。默认状况下Elasticsearch自动对索引请求进行负载分担。
总之，索引能够将分为若干个分片。这些分片也能够被复制0次（没有复制）或屡次，当有副本存在是，做为复制源的分片称为主分片，而做为复制目标的分片称为复制分片。分片和副本的数量能够在索引建立时指定。在索引建立后，能够改变副本的数量，可是不能改变分片的数量。默认状况，Elasticsearch中的每一个索引被分片为5个主分片和1个副本。在两个节点的场景下，每一个索引都将会有5个主分片和另外5个副本分片，每一个索引总共就有10个分片。
2.Logstash概述
Logstash有JRuby语言编写，运行在Java虚拟机（JVM）上，是一款强大的数据处理工具，能够实现数据传输、格式处理、格式化输出。Logstash具备强大的插件功能，经常使用于日志处理。Logstash可配置单一的代理端，与其余开源软件结合，实现不一样的功能。
Logstash的理念很简单，它只作三件事：数据输入、数据加工（如过滤、改写等）以及数据输出。经过组合输入和输出，能够实现锁种需求。Logstash处理日志时，典型的部署架构图以下：

Logstash的主要组件：
Shipper：日志收集者。负责监控本地日志文件的变化，及时收集最新的日志文件内容。一般，远程代理端（agent）只须要运行这个组件便可；
Indexer：日志存储者。负责接收日志并写入到本地文件；
Broker：日志Hub。负责链接多个Shipper和Indexer；
Search and Stronage：容许对事件进行搜索和存储；
Web Interface：基于Web的展现界面；
正是因为以上组件在Logstash架构中可独立部署，才提供了更好的群集扩展性。
Logstash使用管道方式进行日志的搜集处理和输出，优势相似Linux系统的管道命令，将前一个流程的处理结构发送到后一个流程继续处理。在Logstash中，包括了三个阶段，分别是输入（input）、处理（Filter，非必需）和输出（output），三者的关系如图：

流程图中，整个流程为Input收集数据，Filter处理数据、Output输出数据。每一个阶段也能够指定多种方式，如输出既能够输出到Elasticsearch中，也能够指定到stdout在控制台打印。这种插件式的组织方式，时的Logstash的扩展和定制很是方便。
3.Kibana概述
Kibana是一个针对Elasticsearch的开源分析及可视化平台，主要设计用来和Elasticsearch一块儿工做，能够搜索、查看存储在Elasticsearch索引中的数据，并经过各类图表进行高级数据分析和展现。Kibana可让数据看起来一目了然。它的操做十分简单，基于浏览器的用户界面可让用户在任何位置均可以实时浏览。Kibana能够快速建立仪表板实时显示查询动态。Kibana使用很是简单，只需添加索引就能够检测Elasticsearch环境。
Kibana的主要功能：
Elasticsearch无缝之集成：Kibana架构是为了Elasticsearch定制的，能够将任何（结构化和非结构化）数据加入Elasticsearch索引。Kibana还充分李永乐Elasticsearch强大的搜索和分析功能；
整合数据：Kibana可让海量数量变得更容易理解，根据数据内容能够建立形象的柱形图、折线图、散点图、直方图、饼图和地图等，以便用户查看；
复杂数据分析：Kibana提高了Elasticsearch的分析能力，可以更加智能地分析数据，执行数据转换而且根据要求对数据切割分块；
让更多团队成员受益：强大的数据库可视化接口让各业务岗位都可以从数据集合受益；
接口灵活，分享更容易：使用Kibana能够更加方便地建立、保存、分享数据，并将可视化数据快速交流；
配置简单：Kibana的配置和启用很是简单，用户体验很是友好。Kibana自带Web服务器，能够快速启动运行；
可视化多数据源：Kibana能够很是方便地把来自Logstash、ES-Hadoop、Beats多第三方技术的数据整合到Elasticsearch，支持的第三方技术包括Apache、Flume、Fluentd等；
简单数据导出：Kibana能够方便地导出感兴趣的数据，与其余数据集合并融合后快速建模分析，发现新结果；
下面经过一个小型的拓补实验图，来了解一下ELK三个工具之间的对应关系，实验拓补图以下：

实验须要实现的功能有：
（1）配置ELK日志分析群集；
（2）使用Logstash收集日志；
（3）使用Kibana查看分析日志；
1、环境准备
建议两台node服务器的内存不能小于4G！
时间必须一致，不然会出现意想不到的错误！
两个ELK节点的配置几乎一致，操做以下：
[root@localhost ~]# vim /etc/hosts
//修改hosts文件，配置域名解析，填写如下内容
……………… //省略部份内容
192.168.1.1 node1
192.168.1.2 node2
[root@localhost ~]# vim /etc/hostname
//编写配置主机名的文件，修改其中的内容为：
node1
//节点1叫node1，node2叫node2
[root@localhost ~]# vim /etc/sysconfig/selinux
//编写SELinux配置文件，，修改其中内容为：
SELINUX=disable
[root@localhost ~]# systemctl disable firewalld
//设置防火墙开机自行关闭
[root@localhost ~]# java -version
openjdk version "1.8.0_102"
OpenJDK Runtime Environment (build 1.8.0_102-b14)
OpenJDK 64-Bit Server VM (build 25.102-b14, mixed mode)
//检查Java环境
[root@localhost ~]# reboot
//从新启动系统
两台机器基本环境配置完成以后，接下来才开始真正的部署ELK日志分析系统！
关于部署ELK所需的全部软件都在网盘连接：https://pan.baidu.com/s/1PeJk6KhiNiMpZeksUH1fJQ
提取码：14ez
建议先在windows本地进行解压，不然压缩方式Linux系统不便进行解压缩！
2、部署Elasticsearch软件
在node1和node2节点上都要部署Elasticsearch，下面以node1为例，node2配置与node1相同！
（1）安装Elasticsearch软件
Elasticsearch软件能够经过RPM安装、YUM安装或者源码安装，生产环境中用户能够根据实际状况进行安装方式的选择，本章采用RPM方式进行安装。
[root@node1 ~]# rpm -ivh elasticsearch-5.5.0.rpm .
[root@node1 ~]# systemctl daemon-reload
[root@node1 ~]# systemctl enable elasticsearch.service
//启用超级守护进程，设置服务为开机自启动
[root@node1 ~]# vim /etc/elasticsearch/elasticsearch.yml
//编写服务的配置文件，修改如下内容
……………………………………………… //省略部份内容，修改如下内容便可
cluster.name: my-application //定义群集名称
node.name: node1 //定义节点名称
path.data: /data/elk_data //数据存放位置
path.logs: /var/log/elasticsearch //日志存放位置
bootstrap.memory_lock: false //在启动时不锁定内存
network.host: 0.0.0.0 //提供服务绑定的IP地址，0.0.0.0表明全部地址
http.port: 9200 //服务监听端口为9200
discovery.zen.ping.unicast.hosts: ["node1", "node2"] //群集发现经过单播的方式
[root@node1 ~]# mkdir -p /data/elk_data
[root@node1 ~]# chown -R elasticsearch:elasticsearch /data/elk_data/
//建立数据存放路径并受权
[root@node1 ~]# systemctl start elasticsearch.service
//服务较大，耐心等待直到9200端口被监听便可！
[root@node1 ~]# netstat -anpt | grep 9200
tcp6 0 0 :::9200 :::* LISTEN 3192/java
访问测试，测试效果如图：

一样的方式搭建node2，而后测试群集效果，效果图以下：

经过以上方式查看群集的状态对用户并不友好，能够安装Elasticsearch—head插件，能够更方便地管理群集！
（2）安装Elasticsearch—head插件
Elasticsearch在5.0版本后，Elasticsearch—head插件须要做为独立服务进行安装，须要使用npm命令，那么在安装插件以前，须要安装node和phantomjs。其中，前者基于Chrome V8 引擎的JavaScript运行环境，而phantomjs是一个基于webkit的JavaScriptAPI，能够理解为一个隐形的浏览器，任何基于webkit浏览器作的事情，它均可以！
实验环境，这些插件只在node1上进行安装，实际根据须要而定！
1.编译安装node，时间较长，耐心等待
[root@node1 ~]# tar zxf node-v8.2.1.tar.gz -C /usr/src
//注意：解压后的目录不能有中文路径
[root@node1 ~]# cd /usr/src/node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure && make && make install
//编译安装node
2.安装phantomjs
[root@node1 ~]# tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/src/
[root@node1 ~]# cd /usr/src/phantomjs-2.1.1-linux-x86_64/bin/
[root@node1 bin]# cp phantomjs /usr/local/bin
3.安装Elasticsearch—head
[root@node1 ~]# tar zxf elasticsearch-head.tar.gz -C /usr/src
[root@node1 ~]# cd /usr/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm install
4.修改Elasticsearch主配置文件
[root@node1 ~]# vim /etc/elasticsearch/elasticsearch.yml
……………… //省略部份内容，填写如下两行内容
http.cors.enabled: true //开启跨域访问支持
http.cors.allow-origin: "" //跨域访问容许的域名地址
[root@node1 ~]# systemctl restart elasticsearch
//重启服务
5.启动Elasticsearch—head插件
启动插件时，必须在解压后的Elasticsearch—head目录下启动服务，进程会读取该目录下的Gruntfile.js文件，不然将会启动失败；Elasticsearch—head监听的端口默认是9100，经过该端口来判断服务器是否正常启动。
[root@node1 ~]# cd /usr/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start &
//前台启动，一旦关闭中断，服务也将随之关闭
[root@node1 ~]# netstat -anpt | grep 9200
tcp6 0 0 :::9200 ::: LISTEN 90295/java
[root@node1 ~]# netstat -anpt | grep 9100
tcp 0 0 0.0.0.0:9100 0.0.0.0:* LISTEN 90413/grunt
//判断Elasticsearch服务和Elasticsearch-head插件服务启动成功
经过Elasticsearch—head查看Elasticsearch服务信息,如图：

接下来，经过命令插入一个测试索引，命令以下：
[root@node1 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' \
-H 'Content-Type: application/json' -d \
'{"user":"zhangsan","mesg":"hello world"}'
再次刷新浏览器进行查看，如图：

3、安装Kibana
（1）在node1上配置安装Kibana
[root@node1 ~]# rpm -ivh kibana-5.5.1-x86_64.rpm
[root@node1 ~]# systemctl enable kibana
//安装Kibana，并配置为开机自启动
（2）编辑Kibana配置文件
[root@node1 ~]# vim /etc/kibana/kibana.yml
……………… //省略部份内容，修改如下内容
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://192.168.1.1:9200"
kibana.index: ".kibana"
（3）启动服务
[root@node1 ~]# systemctl start kibana
[root@node1 ~]# netstat -anpt | grep 5601
tcp 0 0 0.0.0.0:5601 0.0.0.0:* LISTEN 90791/node
//kibana服务默认监听端口是5601
（4）访问测试

其实到这里，功能已经能够实现了，当时为了有更好的效果，建议搭建一台Web服务器并安装Logstash！
4、安装Logstash
Logstash是部署在须要监控其日志的应用服务器上！
（1）在Apache服务器上安装Logstash
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
[root@localhost ~]# yum -y install httpd
[root@localhost ~]# systemctl start httpd
//安装httpd服务，并启动
[root@localhost ~]# rpm -ivh logstash-5.5.1.rpm
[root@localhost ~]# systemctl start logstash
（2）编写Logstash服务的配置文件
Logstash配置文件有三部分组成：input、output、filter（根据须要），所以标准的格式为：
input {...}
filter {...}
output {...}
在每一个部分中，也能够指定多个访问方式。例如：若要指定两个日志来源文件，则格式以下：
input {
file { path =>"/var/log/messages" type =>"syslog"}
file { path =>"/var/log/apache/access.log" type =>"apache"}
}
编写logstash配置文件apache_log.conf
[root@localhost ~]# vim /etc/logstash/conf.d/apache_log.conf
//必须在这个目录下，叫什么文件名无所谓，内容以下：

input {
file{
path => "/etc/httpd/logs/access_log"
type => "access"
start_position => "beginning"
}
file{
path => "/etc/httpd/logs/error_log"
type => "error"
start_position => "beginning"
}
}
output {
if [type] == "access" {
elasticsearch {
hosts => ["192.168.1.1:9200"]
index => "apache_access-%{+YYYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch {
hosts => ["192.168.1.1:9200"]
index => "apache_error-%{+YYYY.MM.dd}"
}
}
}
为了让Apache服务器产生一些日志文件，建议找个PC多访问几回apache！
[root@localhost ~]# systemctl restart logstash
[root@localhost ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/apache_log.conf
//重启服务，并指定配置文件
访问测试，首先访问9100端口，等待索引文件生成后，再访问5601端口！如图：

若是出现这种状况，如图：

可是仍是建议时间最好同步，不然不明白日志产生的时间，从而作出错误的决定！！！同理添加错误日志及系统日志都是同样的方法！若是是检测Apache的系统日志，Apache服务器上的配置文件就应该这样写！[root@localhost ~]# chmod o+r /var/log/messages//首先受权[root@localhost ~]# vim /etc/logstash/conf.d/system.confinput {file{path => "/var/log/messages"type => "system"start_position => "beginning"}}output {elasticsearch {hosts => ["192.168.1.1:9200"]index => "system-%{+YYYY.MM.dd}"}}实验完成