记一次ELK+FileBeats搭建

获取ElasticSearch+LogStash+Kibana+FileBeats

关于elk搭建的所有产品均可以从elastic的官方网站获取最新版本
elastic官网

如图所示
当前elastic官方已经再也不推荐单纯使用elk(ElasticSearch+LogStash+Kibana)三个产品搭建日志平台, 而是在此基础上加上了轻量级的日志收集插件FileBeats.

安装ElasticSearch

咱们首先获取安装包
进入https://www.elastic.co/cn/downloads/elasticsearch

在Downloads里点击linux就能够下载到用于linux安装的tar包
若是是直接在linux安装,使用wget命令便可
如 : wget artifacts.elastic.co/downloads/e…
若是须要更旧的历史版本, 点击下面的past release便可

在获取到安装包以后, windows环境须要将tar包传送到linux , 使用scp(windows须要预装git)命令便可
如: scp C:/Users/Administrator/Downloads/elasticsearch-7.3.1-linux-x86_64.tar.gz root@100.100.100.100:/home/elk/
在linux, 进入到安装包的目录, 使用tar -zxvf命令进行解压
如: tar -zxvf elasticsearch-7.3.1-linux-x86_64.tar.gz
解压完成后, elasticsearch其实就已经完成了安装

启动ElasticSearch

在启动elasticserach以前须要注意:elasticsearch不能够用root用户启动, 所以, 须要事先在linux创建一个非root用户
linux如何建立一个管理员用户 建立完linux用户后, 切换到该用户, 进入到elasticsearch目录, 执行bin/elasticserach便可 默认elasticsearch的端口是9200, 打开浏览器, 输入http://elasticsearch地址:9200/ , 出现以下画面, 说明elasticsearch启动成功

安装LogStash

windows环境下载和上传到linux的方法再也不赘述, 参照前文
linux环境, 参照以下命令便可:
1.执行wget artifacts.elastic.co/downloads/l…
2.进入logstash安装包目录, 执行tar -zxvf logstash-7.4.0.tar.gz

配置和启动LogStash

1.在启动logstash以前, 须要先新建一个logstash的配置文件
参照logstash目录下的config/logstash-sample.config文件(如图), 新建一个logstash-elk.config文件

input, 即输入数据的监听端口, 这个通常不须要改.
output, 用于将接收到的数据发送到elasitcsearch. 将hosts改为elasticsearch部署的地址, 若是elasticsearch和logstash是同一台机器, 则不须要更改.
注意: 若是多个实例中的FileBeats发送过来的数据但愿进入同一个elasticsearch实例, 并根据不一样的ip地址划分为不一样的索引, 按照以下方式配置

output {
    if "100.100.100.101" in [host][ip] {
        elasticsearch{
          hosts => ["localhost:9200"]
          index => "sample1"
        }
    }else if "100.100.100.102" in [host][ip] {
        elasticsearch{
          hosts => ["localhost:9200"]
          index => "sample2"
        }
    } else {
      elasticsearch{
        hosts => ["localhost:9200"]
        index => "other"
      }
    }

}
复制代码

配置完成后, 启动logstash, 执行bin/logstash -f config/logstash-elk.conf

安装Kibana

linux参照以下命令
1.wget artifacts.elastic.co/downloads/k…
2.进入kibana安装包目录, 执行tar -zxvf kibana-7.4.0-linux-x86_64.tar.gz

配置和启动kibana

进入config/kibana.yml
1.修改server.host为linux机器的实际地址
2.修改i18n.locale: "zh-CN" 这样kibana界面会显示为中文
3.返回kibana主目录, 执行bin/kibana (注意:kibana也不能用root用户启动) 4.打开浏览器, 输入http://kibana地址:5601, 出现以下画面

安装FileBeats

注意: FileBeats须要安装在全部须要发送日志的服务器上
linux参照以下命令
1.wget artifacts.elastic.co/downloads/b… 2.tar -zxvf filebeat-7.4.0-linux-x86_64.tar.gz

配置和启动FileBeats

进入filebeats安装目录, vi filebeat.yml 1.修改paths下的目录, 输入filebeats所在服务器须要收集的日志地址, 如:

paths:
    - /home/sample1/logs/log.*
    - /home/sample2/logs/log.*
复制代码

2.修改output.logstash下的内容, 将logstash部署的地址输入, 参照以下:

output.logstash:
  hosts: ["100.100.100.101:5044"]
  enabled: true
复制代码

3.进入filebeats主目录, 执行 ./filebeat -e -c filebeat.yml, 启动成功

kibana查看日志内容

将上述Elk+FileBeats都安装搭建完成后, 浏览器进入到kibana的界面.
1.打开管理-索引模式-建立索引模式, 进入以下界面:

2.能够看到有三个索引能够匹配, 在索引模式的输入框内输入本身想要建立的索引, 如other, 而后点击下一步

3.选择timestamp, 点击建立索引模式

4.建立成功, 点击discover

5.能够看到有一个新的索引other能够选择

6.到此, elk+filebeats的基本搭建工做就已经完成了