ELK 完整部署和使用 - 天天5分钟玩转 Docker 容器技术（90）

上一节已经部署了容器化的 ELK，本节讨论如何将日志导入 ELK 并进行图形化展现。

几乎全部的软件和应用都有本身的日志文件，容器也不例外。前面咱们已经知道 Docker 会将容器日志记录到 /var/lib/docker/containers/<contariner ID>/<contariner ID>-json.log，那么只要咱们可以将此文件发送给 ELK 就能够实现日志管理。

要实现这一步其实不难，由于 ELK 提供了一个配套小工具 Filebeat，它能将指定路径下的日志文件转发给 ELK。同时 Filebeat 很聪明，它会监控日志文件，当日志更新时，Filebeat 会将新的内容发送给 ELK。

安装 Filebeat

下面在 Docker Host 中安装和配置 Filebeat。

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.0-amd64.debsudo dpkg -i filebeat-5.4.0-amd64.deb

当你看到这篇文章时，Filebeat 可能已经有了更新的版本，请参考最新的安装文档 https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-installation.html

配置 Filebeat

Filebeat 的配置文件为 /etc/filebeat/filebeat.yml，咱们须要告诉 Filebeat 两件事：

1. 监控哪些日志文件？

2. 将日志发送到哪里？

首先回答第一个问题。

在 paths 中咱们配置了两条路径：

1. /var/lib/docker/containers/*/*.log 是全部容器的日志文件。

2. /var/log/syslog 是 Host 操做系统的 syslog。

接下来告诉 Filebeat 将这些日志发送给 ELK。

Filebeat 能够将日志发送给 Elasticsearch 进行索引和保存；也能够先发送给 Logstash 进行分析和过滤，而后由 Logstash 转发给 Elasticsearch。

为了避免引入过多的复杂性，咱们这里将日志直接发送给 Elasticsearch。

若是要发送给 Logstash，可参考后半部分的注释。

当前的日志处理流程以下图所示：

启动 Filebeat

Filebeat 安装时已经注册为 systemd 的服务，能够直接启动服务。

systemctl start filebeat.service

管理日志

Filebeat 启动后，正常状况下会将监控的日志发送给 Elasticsearch。刷新 Elasticsearch 的 JSON 接口 http://[Host IP]:9200/_search?pretty 进行确认。

此次咱们可以看到 filebeat-* 的 index，以及 Filebeat 监控的那两个路径下的日志。

好，Elasticsearch 已经建立了日志的索引并保存起来，接下来是在 Kibana 中展现日志。

首先须要配置一个 index pattern，即告诉 Kibana 查询和分析 Elasticsearch 中的哪些日志。

指定 index pattern 为 filebeat-*，这与 Elasticsearch 中的 index一致。

Time-field name 选择 @timestamp。

点击 Create 建立 index pattern。

点击 Kibana 左侧 Discover 菜单，即可看到容器和 syslog 日志信息。

下面咱们启动一个新的容器，该容器将向控制台打印信息，模拟日志输出。

docker run busybox sh -c 'while true; do echo "This is a log message from container busybox!"; sleep 10; done;'

刷新 Kibana 页面或者点击右上角  图标，立刻就能看到 busybox 的日志。

 

Kibana 也提供了强大的查询功能，好比输入关键字 busybox 能搜索出全部匹配的日志条目。

咱们这里只是简单地将日志导入 ELK 并朴素地显示出来，实际上 ELK 还能够对日志进行归类汇总、分析聚合、建立炫酷的 Dashboard 等，能够挖掘的内容不少，玩法很丰富。因为这个教程的重点是容器，这里就不过多展开。下面这张图能够感觉一下 ELK 的能力，更多的功能留给你们本身去探索。

ELK 我们就讨论到这里，下一节学习 Fluentd。

书籍：
1.《天天5分钟玩转Docker容器技术》
https://item.jd.com/16936307278.html

2.《天天5分钟玩转OpenStack》
https://item.jd.com/12086376.html