本文主要介绍的是ELK日志系统中的Filebeat快速入门教程。html
ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具。linux
Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特色有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。正则表达式
Logstash 主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。通常工做方式为c/s架构,client端安装在须要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操做在一并发往elasticsearch上去。redis
Kibana 也是一个开源和免费的工具,Kibana能够为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,能够帮助汇总、分析和搜索重要数据日志。json
Filebeat是一个轻量型日志采集器,能够方便的同kibana集成,启动filebeat后,能够直接在kibana中观看对日志文件进行detail的过程。服务器
Filebeat 是使用 Golang 实现的轻量型日志采集器,也是 Elasticsearch stack 里面的一员。本质上是一个 agent ,能够安装在各个节点上,根据配置读取对应位置的日志,并上报到相应的地方去。
Filebeat 的可靠性很强,能够保证日志 At least once 的上报,同时也考虑了日志搜集中的各种问题,例如日志断点续读、文件名更改、日志 Truncated 等。
Filebeat 并不依赖于 ElasticSearch,能够单独存在。咱们能够单独使用Filebeat进行日志的上报和搜集。filebeat 内置了经常使用的 Output 组件, 例如 kafka、ElasticSearch、redis 等,出于调试考虑,也能够输出到 console 和 file 。咱们能够利用现有的 Output 组件,将日志进行上报。
固然,咱们也能够自定义 Output 组件,让 Filebeat 将日志转发到咱们想要的地方。
filebeat 实际上是 elastic/beats 的一员,除了 filebeat 外,还有 HeartBeat、PacketBeat。这些 beat 的实现都是基于 libbeat 框架。restful
Filebeat 由两个主要组件组成:harvester 和 prospector。架构
采集器 harvester 的主要职责是读取单个文件的内容。读取每一个文件,并将内容发送到 the output。 每一个文件启动一个 harvester,harvester 负责打开和关闭文件,这意味着在运行时文件描述符保持打开状态。若是文件在读取时被删除或重命名,Filebeat 将继续读取文件。并发
查找器 prospector 的主要职责是管理 harvester 并找到全部要读取的文件来源。若是输入类型为日志,则查找器将查找路径匹配的全部文件,并为每一个文件启动一个 harvester。每一个 prospector 都在本身的 Go 协程中运行。app
注:Filebeat prospector只能读取本地文件, 没有功能能够链接到远程主机来读取存储的文件或日志。
示例图:
Filebeat下载地址推荐使用清华大学或华为的开源镜像站。
下载地址:
https://mirrors.huaweicloud.com/logstash
https://mirrors.tuna.tsinghua.edu.cn/ELK
ELK7.3.2百度网盘地址:
连接:https://pan.baidu.com/s/1tq3Czywjx3GGrreOAgkiGg
提取码:cxng
将下载下来的filebeat-7.3.2-linux-x86_64.gz的配置文件进行解压
在linux上输入:
tar -xvf filebeat-7.3.2-linux-x86_64.tar.gz
而后移动到/opt/elk 里面,而后将文件夹重命名为 filebeat-7.3.2
输入
mv filebeat-7.3.2-linux-x86_64 /opt/elk
mv filebeat-7.3.2-linux-x86_64 filebeat-7.3.2
这里简单介绍一下 filebeat.inputs,和outputs的主要配置。
inputs主要使用的几个配置项:
一个简单的input输入示例:
filebeat.inputs: - type: log enabled: true paths: - /home/logs/*.txt
上述这段配置表示采集/home/logs/
目录全部后缀名为.txt的日志。
在采集日志时,会涉及到对于应用中异常堆栈日志的处理。在上一篇博文中,咱们使用了logstash实现了日志归并,在本篇中咱们也可使用filbeat来实现合并。使用multiline.pattern、multiline.negate和multiline.match来实现,咱们经过制定匹配规则将以空格开头的全部行合并到上一行,并把以Caused by开头的也追加到上一行。
示例:
filebeat.inputs: - type: log enabled: true paths: - /home/logs/*.txt multiline.pattern: '^[[:space:]]+(at|\.{3})\b|^Caused by:' multiline.negate: false multiline.match: after
如果想采集多个目录,第一种方式,直接在采集的目录下再添加一行
示例图:
第二种方式,想采集多个目录而且输出到不一样的索引库中,能够增长fields来表示,相似logstash的type。
示例图:
判断的时候,使用if [fields][log-test] == "true"{ }
这样既可。
output主要做用是将数据进行输出,好比输出到kafka、elasticsearch或者logstash中。
这里将数据输出到ElasticSearch中,若是是集群,经过逗号能够配置多个节点。
示例:
output.elasticsearch: hosts: ["127.0.0.1:9200"]
按照上述配置会将读取的数据输出默认的模板索引库中,若是咱们想指定索引库输出的话,只须要添加索引库名称便可。
示例:
output.elasticsearch: hosts: ["127.0.0.1:9200"] index: "mylog"
输出到Logstash配置:
output.logstash: hosts: ["localhost:5044"]
在/home/logs/目录下添加一个日志文件, 而后在filebeat文件夹中建立一个filebeat_test.yml文件,而后在该文件中添加以下配置:
filebeat.inputs: - type: log enabled: true paths: - /home/logs/*.txt multiline.pattern: '^[[:space:]]+(at|\.{3})\b|^Caused by:' multiline.negate: false multiline.match: after output.elasticsearch: hosts: ["192.168.8.78:9200"]
使用root用户在filebeat文件夹输入
./filebeat -c filebeat_test.yml test config
进行配置启动测试
启动命令:
./filebeat -e -c filebeat_logstash.yml
后台启动命令:
nohup ./filebeat -c filebeat_logstash.yml >/dev/null 2>&1 &
如果后台启动,能够在filebeat统计目录的logs目录查看日志信息。
启动filebeat采集日志写入到ES中,默认会使用filebeat的模板, 若是想使用自定义模板实现,能够查看我上一篇博文,地址:ElasticSearch实战系列七: Logstash实战使用-图文讲解
示例图以下:
有时候,咱们想采集json文件并直接将json文件的数据按照格式写入到ES对应的索引库中,咱们也能够经过filebeat去实现。
1.在filebeat的目录下建立一个filebeat_json.yml
的yml文件。
配置文件:
filebeat.inputs: - type: log enabled: true tags: ["i", "love", "json"] json.message_key: user_name json.keys_under_root: true json.add_error_key: true fields: qwe: xuwujing paths: - /home/logs/myjson.log output.elasticsearch: hosts: ["127.0.0.1:9200"] index: "myjson_index" setup.ilm.enabled: false setup.template.name: myjson_index setup.template.pattern: myjson_index
2.在kibana的开发工具页面中执行以下语句:
PUT myjson_index { "mappings": { "properties": { "id": { "type": "long" }, "user_name": { "type": "keyword" }, "blog": { "type": "keyword" } } } }
3.建立json文件
{"user_name": "xuwujing", "id": 1, "blog": "www.panchengming.com"} {"user_name": "xuwujing", "id": 2, "blog": "www.panchengming.com"} {"user_name": "xuwujing", "id": 3, "blog": "www.panchengming.com"}
4.启动filebeat,并在kibana查询数据
./filebeat -e -c filebeat_json.yml
示例图:
原创不易,若是感受不错,但愿给个推荐!您的支持是我写做的最大动力!
版权声明:
做者:虚无境
博客园出处:http://www.cnblogs.com/xuwujing
CSDN出处:http://blog.csdn.net/qazwsxpcm
掘金出处:https://juejin.im/user/5ae45d5bf265da0b8a6761e4
我的博客出处:http://www.panchengming.com