Logstash 安装使用

1.参考文档

https://doc.yonyoucloud.com/doc/logstash-best-practice-cn/index.html

2. 参数与配置

-e: 执行命令行中配置的参数启动实例；./bin/logstash -e‘input {stdin {}} output {stdout {}}’

-f: 经过配置文件启动实例；./bin/logstash -f config/logstash.conf

-t: 测试配置文件正确性； ./bin/logstash  -f config/logstash.conf -t

-l: 启动实例后，指定打印日志文件目录；./bin/logstash-f config/logstash.conf -l logs/logstash.log

-w: 指定filter 线程数量，默认是5；./bin/logstash-f config/logstash.conf -w 8

3.经常使用日志解析语法地址

vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns

4.配置日志输出到控制台

../bin/logstash -f logstash.conf
input {
   stdin {}
 }
output {
 stdout {
   codec => rubydebug 
    }
 }

5.配置获取本地messages日志并输出到控制台

../bin/logstash -f logstash.conf
input {
    file {
    path => "/var/log/messages"
   }
  }   
output {
 stdout {  
 codec => rubydebug
 }
}

6.配置获取本地messages 日志并输出到kafka

../bin/logstash -f logstash.conf
input {
     file {
     path => "/var/log/messages"
    }
  }   
output {
  kafka {
  bootstrap_servers => "10.10.23.39:9092,10.10.23.40:9092,10.10.23.41:9092"
  topic_id => "osmessages"
  }
}

7.配置获取filebeat抓取的日志并输出到kafka

../bin/logstash -f logstash.conf
input {
     beats {
     port => 5044  #filebeat 配置日志发送至logstasch 接收属性：hosts: ["10.10.23.42:5044"]
     }
  }   
output {
  kafka {
  codec => json
  bootstrap_servers => "10.10.23.39:9092,10.10.23.40:9092,10.10.23.41:9092"
  topic_id => "osmessages"
  }
}

8. 配置kafka获取filebeat抓取的日志并输出到ES

../bin/logstash -f logstash.conf
input {
  kafka {
  bootstrap_servers => "10.10.23.39:9092,10.10.23.40:9092,10.10.23.41:9092"
  topics => ["osmessages"]
  codec => "json"
   }
 }   
output {
  elasticsearch {
  hosts => ["10.10.23.44:9200","10.10.23.45:9200","10.10.23.46:9200"]
  index => "osmessageslog-%{+YYYY-MM-dd}"
  }
}