ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台

ELK平台介绍

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员能够经过日志了解服务器软硬件信息、检查配置过程当中的错误及错误发生的缘由。常常分析日志能够了解服务器的负荷，性能安全性，从而及时采起措施纠正错误。

一般，日志被分散的储存不一样的设备上。若是你管理数十上百台服务器，你还在使用依次登陆每台机器的传统方法查阅日志。这样是否是感受很繁琐和效率低下。当务之急咱们使用集中化的日志管理，例如：开源的syslog，将全部服务器上的日志收集汇总。

集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，通常咱们使用grep、awk和wc等Linux命令能实现检索和统计，可是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法不免有点力不从心。

开源实时日志分析ELK平台可以完美的解决咱们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：https://www.elastic.co/products

1. Elasticsearch是个开源分布式搜索引擎，它的特色有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
2. Logstash是一个彻底开源的工具，他能够对你的日志进行收集、过滤，并将其存储供之后使用（如，搜索）。
3. Kibana 也是一个开源和免费的工具，它Kibana能够为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，能够帮助您汇总、分析和搜索重要数据日志。

如图：Logstash收集AppServer产生的Log，并存放到ElasticSearch集群中，而Kibana则从ES集群中查询数据生成图表，再返回给Browser。

ELK平台搭建

Elasticsearch 安装

1. 点击下载，
2. 解压zip或者tar包等
3. 在bin/elasticsearch (windows版本是binelasticsearch.bat)
4. 请求 http://localhost:9200/ 能看到带版本的返回值便可

Logstash 安装

1. 点击下载
2. 解压zip或者tar包等
3. 在bin目录建立一个 logstash.conf文件 内容以下

input {
          tcp {
           port => 4567 //项目日志配置文件中写的端口
           type => "logs" 
         }
        }复制代码

filter {
        }
        output {
                stdout{codec =>rubydebug}
           elasticsearch {
           hosts => ["localhost:9200"] // Elasticsearch 的ip 端口
          }
        }
4. bin/logstash -f logstash.conf 便可复制代码

Kibana 安装

1. 点击下载
2. 解压zip或者tar包等
3. vi config/kibana.yml 文件 修改 elasticsearch.url = Elasticsearch 的ip 端口 如Elasticsearch 的ip 端口
4. 执行bin/kibana （windows执行binkibana.bat）
5. 浏览器打开http://localhost:5601

验证

1. logback.xml 配置

1. 测试类

1. Logstash 日志

1. Kibana 显示

如感受文章对你有所帮助，能够关注微信公众号【五彩的颜色】鼓励一下