基于logstash+elasticsearch+kibana的日志收集分析方案（Windows）

一 方案背景

     一般，日志被分散的储存不一样的设备上。若是你管理数十上百台服务器，你还在使用依次登陆每台机器的传统方法查阅日志。这样是否是感受很繁琐和效率低下。 开源实时日志分析 ELK 平台可以完美的解决日志收集和日志检索、分析的问题， ELK就是指ElasticSearch 、 Logstash 和 Kiabana 三个开源工具。

    由于ELK是能够跨平台部署，所以很是适用于多平台部署的应用。

二 环境准备

    1. 安装JDK1.8环境
    2. 下载ELK软件包

• logstash: https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip
• elasticsearch：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.0.zip
• kibana: https://artifacts.elastic.co/downloads/kibana/kibana-5.5.0-windows-x86.zip 

    分别解压下载的软件，elasticsearch，logstash，kibana 能够放在一个统一文件夹下

 

三 部署

    1.配置logstash

 

在logstash文件夹的下bin目录建立配置文件logstash.conf ,内容以下：

 

 

1. input {
2. # 以文件做为来源
3. file {
4. # 日志文件路径
5. path => "F:\test\dp.log"
6. }
7. }
8. filter {
9. #定义数据的格式，正则解析日志（根据实际须要对日志日志过滤、收集）
10. grok {
11.     match => { "message" => "%{IPV4:clientIP}|%{GREEDYDATA:request}|%{NUMBER:duration}"}
12. }
13. #根据须要对数据的类型转换
14. mutate { convert => { "duration" => "integer" }}
15. }
16. # 定义输出
17. output {
18. elasticsearch {
19. hosts => ["localhost:9200"] #Elasticsearch 默认端口
20. }
21. }　　

在bin目录下建立run.bat，写入一下脚本：

1. logstash.bat -f logstash.conf

执行run.bat启动logstash。

 

2. 配置Elasticsearch 

 Elasticsearch默认端口9200，执行bin/elasticsearch.bat便可启动。

   启动后浏览器访问 127.0.0.1:9200 ，出现如下的json表示成功。

 

 

 

3.配置kibana

 Kibana启动时从文件kibana.yml读取属性。默认设置配置Kibana运行localhost:5601。要更改主机或端口号，或者链接到在其余机器上运行的Elasticsearch，须要更新kibana.yml文件。

 执行bin/kibana.bat启动Kibana。

 

四 测试

    1.建立Index    

     用浏览器打开http://localhost:5601/  系统会提示建立Index，能够按时间建立Index。在Discover选项卡上你会看到你刚刚在dp .log中输入的内容。

 2. 检索日志

快速检索定位。

 

3. 日志分析

     新建Visualize，选择Line（固然其余视图均可以）。而后选择数据源。

  X轴选择时间，Y轴分别为访问接口的最大耗时和平均耗时。

  建立Dashboard视图，能够将相关图标放在一个视图，方便分析。