安装logstash及logstash的初步使用-处理DNS日志

安装logstash

须要高版本的java
使用1.4版本的java会有报错
# Can't start up: not enough memory

查询java信息

rpm -qa | grep java

查询yum源内含有的全部java的安装包

yum -y list java*

选择须要的版本

yum install java-xxx-openjdk.x86_64

安装完成后，验证版本

java -verison

下载logstash

cd /opt/soft wget https://artifacts.elastic.co/downloads/logstash/logstash-6.3.2.tar.gz

解压

tar zxvf logstash-6.3.2.tar.gz
cd logstash-6.3.2

若须要安装插件，能够经过logstash-plugin 来安装

查看能够安装的插件

./bin/logstash-plugin list ./bin/logstash-plugin install pkg_name

安装插件
https://github.com/logstash-plugins/logstash-patterns-core

须要安装gem

yum install -y rubygem #centos6.5 yum install -y gem #centos7

安装完成后，解压github上的插件而后进入目录执行

gem build *.gemspec

会产生一个新的*.gem文件

./bin/logstash-plugin install *.gem
而后就安装成功了

logstash的使用方式
在任意文件夹下建立一个conf文件(这里演示就直接建立在程序目录下了)

touch /opt/soft/logstash /bin/std.conf vi /opt/soft/logstash/bin/std.conf

如下是一个实例

须要处理的日志格式:17-Jul-2018 10:54:06.822 client 127.0.0.1 18524: view default: kugou.xdwscache.ourwebpic.com IN A NOERROR + NS NE NT ND NC H 25 Response: kugou.xdwscache.ourwebpic.com 50 IN A 127.0.0.1;kugou.xdwscache.ourwebpic.com 50 IN A 127.0.0.1;

std.conf内容以下

#input  日志文件来源，还能够使用redis等等具体可查询官网的input选项
input {
    file {
    #指定路径
    path => ["/home/dnslog/*.log"]
    }
}
#格式处理
filter{
    #判断message是否含有字符“Respose”
    if "Response" in [message] {
        #经过正则的方式来切割日志，而且赋予须要的数据变量。本文导入了模块logstash-patterns-core
        #logstash-patterns-core此模块来自于github：https://github.com/logstash-plugins/logstash-patterns-core
        grok{
            match =>{
        "message" => "%{BIND9_TIMESTAMP:timestamp} client %{IP:clientip} %{POSINT:clientport}: view %{DATA:view}\:\ %{DATA:query} IN %{DATA:aaa} %{DATA:status} \+ %{GREEDYDATA:res}"
        }
    }
        #在此经过正则过滤
        grok {
        match => {
        #这里的res由上面grok过滤得到
        "res" => ".*?(%{HOSTNAME:query1} %{NONNEGINT:clientport1} IN A %{IP:resolution};)$.*?"
        }   
        }
    #if判断失败的就直接丢弃
    }else {
        drop {}
    }
    #geoip插件经过plugin install 安装，这个插件对移动的地址识别有异常。
    geoip{
    #由以上第二个正则grok过滤获得的resolution获取IP
    source => "resolution"
    target => "geoip"
    #能够注释掉fields，那就是输出完成的geoip的数据。这边只取了须要的
    fields => ["city_name","country_name","region_name"]
    }

    #日期插件会替换本来自身的@timestamp项
    date {
    #将日期格式化为标准输出
    match => ["timestamp", "dd-MMM-yyyy HH:mm:ss.SSS"]
    locale => "en"
    timezone => "+00:00"

#   target=>"@timestamp"
#   timezone=>"Asia/Shanghai"
    }
    #格式化日志将服务器名称发送过去
    mutate {
    rename => { "[host][name]" => "host" }
    }
    #去除不须要的项
    mutate {
    remove_field => ["_type","_source","path","message", "@version","clientport","clientport1","res"]
    }
}
#输出
output {
    #输出到elasticsearch,而且定义index名字
    elasticsearch{
    index => "logstash_dns%{[host]}_%{+YYYY.MM.dd}"
        hosts => "127.0.0.1:8200"
    }
#输出到界面，以rubydebug的格式，还有json等等格式
stdout {codec => rubydebug} 
}

这样一个DNS的日志格式就处理完成了