【踩坑】ELK6.0已取消filebeat配置document_type

1、原由

 在使用ELK5.5的时候，若是遇到须要在同一台机器上收集不一样类型的日志，好比：同时收集一台机器上的java log和nginx log！而又须要分别存储到不一样索引的时候，咱们会在filebeat的prospectors里面配置document_type类型，而后在logstash里面使用if [type] == "string" 来匹配，针对不一样的判断作不一样的处理。

 6.0之前filebeat部分配置以下：

- input_type: log
  paths:
    - /opt/tengine/logs/access.log
  document_type: nginx-log
  json.keys_under_root: true
  ignore_older: 24h

 - input_type: log
  paths:
    - /opt/java/logs/java.log
  document_type: java-log
  json.keys_under_root: true
  ignore_older: 24h

 6.0之前logstash部分配置以下：

output {
if [type] == "nginx-log" {
    elasticsearch {
        hosts => ["172.18.238.2:9200","172.18.238.3:9200","172.18.238.4:9200"]
        index => "%{type}-%{+YYYY.MM.dd}"

        }

} else if [type] == "java-log" {
    elasticsearch {
        hosts => ["172.18.238.2:9200","172.18.238.3:9200","172.18.238.4:9200"]
        index => "%{type}-%{+YYYY.MM.dd}"
        }
    }
}

2、踩坑

 在使用了6.2.3版本的ELK之后，使用如上配置，if [type]匹配不到在filebeat里面使用document_type定义的字符串。在屡次调试和询问后，发如今6.0版本以上已经取消了document_type的定义。若是要实现以上的配置只能使用以下配置

3、解决方案

 解决方案为在filebeat里面新增一个fields字段，service : GameStatis都是本身定义的，定义完成后使用Logstash的if 判断，条件为if [fields][service] == "GameStatis".就能够了。

 filebeat配置：

 logstasht配置：