filebeat的配置文件说明

filebeat.prospectors:
- input_type: log
  paths:
    - /tmp/fblog/*        #指定采集文件的路径，可多级匹配
  fields:                 #为采集的信息中添加字段
    topicName: TEST2
hostIP: 192.168.100.130
Line_breaker: \n   #指定换行符 
  fields_under_root: true 
  encoding: gbk     #设置信息的编码格式  
clean_removed: true  #当文件在磁盘中找不到时，清理注册表中的文件信息
close_removed: true  #当文件被删除时，filebeat关闭文件的读取处理和clearn_remove一块儿使用
ignore_older: 25h  #超过该时间以前更新的文件filebeta不采集，默认关闭
close_inactive: 1m  #当harvester读取文件最后一行后，在该时间内文件内容没有变化就关闭文件句柄(file handle)。官方建议将这个参数设置为一个比文件最大更新间隔大的值默认值为5min.
close_timeout: 5m  #harvester采集文件的生命周期，超过设定时间就关闭采集，等待scan_frequency下一次从新开始读取文件
clean_inactive: 6h  #从注册表中删除先前收获的文件的状态 设置须要大于ignore+scan_frequency,确保在文件仍收集时不被删除状态
scan_frequency: 30s   #设置filebeat搜索新更新文件的频率
 
#多行合并匹配规则，实例是根据时间为开头的信息为一行
multiline.pattern: '^(.?)[0-9]{1,4}[-|:][0-9]{1,}'
multiline.negate: true
multiline.match: after   #多行内容添加到模式匹配行以后
 
#================================ Outputs =====================================
output.kafka:
  enabled: true
  hosts: ["192.168.1.145:9092"]   #kafka的ip和port
  topic: filebeat     #指定输出到的topicname