ELK日志相关

时间  2019-12-11
标签 elk 日志 相关 繁體版
原文   原文链接

转: Logstash 讲解与实战应用

1、Logstash 介绍php


Logstash 是一款强大的数据处理工具，它能够实现数据传输，格式处理，格式化输出，还有强大的插件功能，经常使用于日志处理。
nginx



wKioL1e3v2vDm9B-AAEPIwibWb0700.png


官网地址:https://www.elastic.co/products/logstashlaravel


工做流程git


wKiom1e31O6hsGJUAADcUSxOIdM003.png

Logstash 工做的三个阶段：web


input 数据输入端，能够接收来自任何地方的源数据。redis

  • file：从文件中读取mongodb

  • syslog：监听在514端口的系统日志信息，并解析成RFC3164格式。json

  • redis：从redis-server list 中获取
    vim

  • beat：接收来自Filebeat的事件centos


Filter 数据中转层，主要进行格式处理，数据类型转换、数据过滤、字段添加，修改等，经常使用的过滤器以下。

  • grok: 经过正则解析和结构化任何文本。Grok 目前是logstash最好的方式对非结构化日志数据解析成结构化和可查询化。logstash内置了120个匹配模式，知足大部分需求。

  • mutate: 在事件字段执行通常的转换。能够重命名、删除、替换和修改事件字段。

  • drop: 彻底丢弃事件，如debug事件。

  • clone: 复制事件，可能添加或者删除字段。

  • geoip: 添加有关IP地址地理位置信息。


output 是logstash工做的最后一个阶段，负责将数据输出到指定位置，兼容大多数应用，经常使用的有:

  • elasticsearch: 发送事件数据到 Elasticsearch，便于查询，分析，绘图。

  • file: 将事件数据写入到磁盘文件上。

  • mongodb:将事件数据发送至高性能NoSQL mongodb，便于永久存储，查询，分析，大数据分片。

  • redis:将数据发送至redis-server，经常使用于中间层暂时缓存。

  • graphite: 发送事件数据到graphite。http://graphite.wikidot.com/

  • statsd: 发送事件数据到 statsd。



2、安装logstash


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# 配置yum源，新建yum文件
vim  /etc/yum .repos.d /es .repo
 
# 加入如下内容
 
[kibana-4.5]
name=Kibana repository  for  4.5.x packages
baseurl=http: //packages .elastic.co /kibana/4 .5 /centos
gpgcheck=1
gpgkey=http: //packages .elastic.co /GPG-KEY-elasticsearch
enabled=1
 
[beats]
name=Elastic Beats Repository
baseurl=https: //packages .elastic.co /beats/yum/el/ $basearch
enabled=1
gpgkey=https: //packages .elastic.co /GPG-KEY-elasticsearch
gpgcheck=1
 
# 执行安装指令
yum  install  logstash -y



3、使用命令行运行一个简单的logstash程序


1
2
3
4
5
6
7
8
9
10
logstash /bin/logstash  -e  'input{stdin{}}output{stdout{codec=>rubydebug}}'
 
# 输入 abc 输出以下
 
{
        "message"  =>  "abc" ,
       "@version"  =>  "1" ,
     "@timestamp"  =>  "2016-08-20T03:33:00.769Z" ,
           "host"  =>  "iZ23tzjZ"
}



4、配置语法讲解


logstash使用{ }来定义配置区域，区域内又能够包含其插件的区域配置。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
# 最基本的配置文件定义，必须包含input 和 output。
 
input{
     stdin{ }
}
 
 
output{
     stdout{
         codec=>rubydebug
     }
}
 
 
# 若是须要对数据进操做，则须要加上filter段
 
input{
     stdin{ }
}
 
 
filter{
   # 里面能够包含各类数据处理的插件，如文本格式处理 grok、键值定义 kv、字段添加、
   # geoip 获取地理位置信息等等... 
 
}
 
output{
     stdout{
         codec=>rubydebug
     }
}
 
 
# 能够定义多个输入源与多个输出位置
 
input{
     stdin{ }
     
     file {
         path => [ "/var/log/message" ]
         type  =>  "system"
         start_position =>  "beginning"
     }
}
 
 
output{
     stdout{
         codec=>rubydebug
     }
     
      
     file  {
         path =>  "/var/datalog/mysystem.log.gz"
         gzip  =>  true
     }
     
}


启动方式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 经过手动指定配置文件启动
 
/bin/logstash  -f  /etc/logstash/conf .d /nginx_logstash .conf
 
# 以daemon方式运行，则在指令后面加一个 & 符号
 
/bin/logstash  -f  /etc/logstash/conf .d /nginx_logstash .conf &
 
 
# 若是是经过rpm包安装的logstash则能够使用自带的脚本启动
 
/etc/init .d /logstash  start 
 
# 经过这种方式启动，logstash会自动加载 /etc/logstash/conf.d/ 下的配置文件



5、filebeat基本讲解


filebeat是基于原先 logstash-forwarder 的源码开发而来，无需JAVA环境，运行起来更轻便，无疑是业务服务器端的日志收集工具。


配 置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
# 配置文件路径 "/etc/filebeat/filebeat.yml"
# 一个配置文件能够包含多个prospectors，一个prospectors能够包含多个path。
 
 
filebeat:
   # List of prospectors to fetch data.
   prospectors:
     # Each - is a prospector. Below are the prospector specific configurations
     -
       paths:
         -  /var/log/messages
         
       input_type: log
 
       document_type: messages
 
     -
       paths:
         -  /alidata/log/nginx/access/access .log.json
 
       input_type: log
 
       document_type: nginxacclog
 
     -
       paths:
         -  /alidata/www/storage/logs/laravel .log
 
       input_type: log
 
       document_type: larlog
 
     -
       paths:
         -  /alidata/www/500_error/500_error .log
 
       input_type: log
 
       document_type: error500
 
     -
       paths:
         -  /alidata/www/deposit/deposit .log
 
       input_type: log
 
       document_type: deposit
 
 
     -
       paths:
         -  /alidata/www/call_error .log
 
       input_type: log
 
       document_type: call_error
 
     -
       paths:
         -  /alidata/www/weixin_deposit .log
 
       input_type: log
 
       document_type: weixin_deposit
 
 
     -
       paths:
         -  /alidata/log/php/php-fpm .log.slow
 
       input_type: log
 
       document_type: phpslowlog
 
       # 多行处理
       multiline:
           pattern:  '^[[:space:]]'
           negate:  true
           match: after
 
 
     # Additional prospector
 
registry_file:  /var/lib/filebeat/registry
 
 
############################# Libbeat Config ##################################
# Base config file used by all other beats for using libbeat features
 
############################# Output ##########################################
 
# 输出数据到 redis 
 
output:
 
 
   redis:
 
     host:  "10.122.52.129"
     port: 6379
     password:  "123456"
 
 
# 输出数据到 logstash ，通常二者选用其一
  
   logstash:
     hosts: [ "10.160.8.221:5044" ]
 
 
############################# Shipper #########################################
 
shipper:
 
# 打上服务器tag
 
   name:  "host_2"
   
   
############################# Logging #########################################  
   
logging:  
   
   
   files:
   
 
     rotateeverybytes: 10485760  # = 10MB


filebeat主要配置就是这个配置文件了，设定好以后启动服务就会自动从源拉取数据发送到指定位置，当数据为普通行数据时，filebeat会自动为其添加字段信息，其中一项字段 @timestamp 为filebeat读取到这条数据的时间，默认格式为UTC时间，比中国大陆时间早8小时。


若是数据为json格式，而数据中已包含@timestamp字段，filebeat处理时会把@timestamp字段值替换为filebeat读取到该行数据的当前UTC时间。



6、实战运用


架构一

wKiom1e7uC6D7Us_AABlKRVNxjw054.png


nginx 日志格式配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
        log_format json  '{"@timestamp":"$time_iso8601",'
                  '"slbip":"$remote_addr",'
                  '"clientip":"$http_x_forwarded_for",'
                  '"serverip":"$server_addr",'
                  '"size":$body_bytes_sent,'
                  '"responsetime":$request_time,'
                  '"domain":"$host",'
                  '"method":"$request_method",'
                  '"requesturi":"$request_uri",'
                  '"url":"$uri",'
                  '"appversion":"$HTTP_APP_VERSION",'
                  '"referer":"$http_referer",'
                  '"agent":"$http_user_agent",'
                  '"status":"$status"}' ;


filebeat 配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
filebeat:
   # List of prospectors to fetch data.
   prospectors:
     # Each - is a prospector. Below are the prospector specific configurations
 
     -
       paths:
         -  /alidata/log/nginx/access/access .log.json
 
       input_type: log
 
       document_type: nginxacclog
       
 
############################# Output ##########################################
 
output:            
  
   logstash:
     hosts: [ "10.160.8.221:5044" ]
 
# 其余部分配置省略。


logstash 配置 （此处logstash用于接收filebeat的数据，而后转存redis）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
input {
     beats {
     port => 5044
     codec =>  "json"
}
 
}
 
 
filter {
     if  [ type ] ==  "nginxacclog"  {
     geoip {
         source  =>  "clientip"
         target =>  "geoip"
         database =>  "/u01/elk/logstash/GeoLiteCity.dat"
         add_field => [  "[geoip][coordinates]" , "%{[geoip][longitude]}"  ]
         add_field => [  "[geoip][coordinates]" , "%{[geoip][latitude]}"  ]
}
 
     mutate {
         convert => [  "[geoip][coordinates]" , "float"  ]
 
}
 
}
 
}
 
 
output{
     if  [ type ] ==  "nginxacclog"  {
     redis {
         data_type =>  "list"
         key =>  "nginxacclog"
         host =>  "127.0.0.1"
         port =>  "26379"
         password =>  "123456"
         db =>  "0"
 
}
 
}
 
     if  [ type ] ==  "messages"  {
     redis {
         data_type =>  "list"
         key =>  "messages"
         host =>  "127.0.0.1"
         port =>  "26379"
         password =>  "123456"
         db =>  "0"
 
}
 
}
 
}


logstash 配置 （此处logstash用于读取redis list中的数据，而后转存elasticsearch）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程