搭建ElasticSearch+Logstash+Kibana环境

ELK介绍

ELK （官网）实际上是三个不一样的内容，通常配合一块儿使用。分别是： 
- ElasticSearch 
- Logstash 
- Kibana

具体的介绍能够看官网的每一个产品介绍

Windows 环境搭建

能够参考：https://blog.csdn.net/pilihaotian/article/details/52452010 ，基本上比较详细了，可是也能够看出windows安装比较繁琐，并且还会耗费机器自己资源，本文介绍使用Docker安装搭建。

Docker 环境搭建

ELK对应的有不少版本，本文均使用最新版本

安装 elasticsearch

拉取镜像

docker pull elasticsearch

 

启动容器

docker run -d -p 9200:9200 --name leon_elasticsearch elasticsearch

 

此时访问地址：http://192.168.9.151:9200/，看到以下效果说明启动成功： 

安装插件 elasticsearch-head

通常状况下，安装插件只须要执行命令：

elasticsearch-plugin install mobz/elasticsearch-head

 

那么咱们如今进入到容器中对应的目录：/usr/share/elasticsearch/bin/，而后执行上述命令，可是发现报错： 

查阅相关文档得知如下信息：

– for Elasticsearch 5.x: 
site plugins are not supported. Run elasticsearch-head as a standalone server

也就是说5.X以上的版本，须要单独启动 elasticsearch-head 服务。 
那么单独启动运行插件容器：

docker run -d -p 9100:9100 --name leon_elasticsearch-head mobz/elasticsearch-head:5

 

注意后面跟的版本5，必定要对应本身的版本。

容器启动后，访问地址：http://192.168.9.151:9100/

此时表明插件服务已经启动，可是点击链接，发现没法链接elasticsearch服务，须要修改配置文件，文件地址为容器中的：/usr/share/elasticsearch/config/elasticsearch.yml

咱们进入容器，发现没法使用VI命令修改文件，这个时候能够安装VI工具而后修改文件，或者使用另一种粗暴的方法，在外面修改而后覆盖文件。这里由于安装VI老是出错，因此使用第二种方式。

首先将容器中的配置文件导出来：

docker cp leon_elasticsearch:/usr/share/elasticsearch/config/elasticsearch.yml /home/px2/elasticsearch.yml

 

在文件中添加如下内容：

http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization

 

而后在替换容器中的文件：

docker cp /home/px2/elasticsearch.yml leon_elasticsearch:/usr/share/elasticsearch/config/elasticsearch.yml

 

重启容器，而后从新访问：http://localhost:9100/ 就能够链接上了（此时尚未数据）

注意：若是仍是不能链接，能够访问地址来链接：http://localhost:9100/?auth_user=elastic&auth_password=changeme

安装logstash

这里有个比较坑的问题，使用Docker官方Hub里的镜像 docker pull logstash 启动的容器老是会自动停掉，没法运行，后来选择使用官网中的镜像地址：

docker run --name leon_logstash docker.elastic.co/logstash/logstash:6.2.4

 

修改配置文件,进入容器：

docker exec -it leon_logstash /bin/bash

 

进入目录cd config 
打开并修改配置文件 vi logstash.yml:

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.url: http://192.168.9.151:9200
xpack.monitoring.elasticsearch.username: elastic
xpack.monitoring.elasticsearch.password: changeme

 

安装kibana

拉取镜像

docker pull kibana

• 1

启动容器

docker run --name leon_kibana -p 5601:5601 -d -e ELASTICSEARCH_URL=http://192.168.9.151:9200 kibana

 

配置

访问地址：http://192.168.9.151:5601 ，看到以下效果

此时报错中间红色部分，没法进行建立，找到资料得知：

看官网的解释说这是由于初次设置的时候logstash没有加载到数据致使的。因此先要保证logstash可以加载到数据。

配置数据

进入到容器中：

docker exec -it leon_logstash /bin/bash

 

而后进入以下目录： 
cd pipeline/ 
打开配置文件：vi logstash.conf

修改内容以下：

input {
        file {
            codec=> json
                path => "/usr/local/*.json"
        }
}
filter {
  #定义数据的格式
  grok {
    match => { "message" => "%{DATA:timestamp}\|%{IP:serverIp}\|%{IP:clientIp}\|%{DATA:logSource}\|%{DATA:userId}\|%{DATA:reqUrl}\|%{DATA:reqUri}\|%{DATA:refer}\|%{DATA:device}\|%{DATA:textDuring}\|%{DATA:duringTime:int}\|\|"}
  }
}
output {
   elasticsearch{
     hosts=> "http://192.168.9.151:9200"
   }
}

 

其中指定了输出地址：elasticsearch的地址，并且还指定了内容输入地址：/usr/local/*.json，须要在usr/local下有json格式的数据，接下来将项目生成的json格式的日志文件上传到该目录。

docker cp /home/px2/logs/shop-user-consumer.json leon_logstash:/usr/local/shop-user-consumer.json
docker cp /home/px2/logs/shop-user-provider.json leon_logstash:/usr/local/shop-user-provider.json

 

而后重启logstash容器，在从新访问页面，能够看到能够进行create了。

点击create建立成功后，点击Discovery,选择时间为一年内，能够看到以前的数据：

而且访问9100地址也能加载出节点信息了：

至此，整个ELK环境就搭建起来了。