（高版本）ELK（Elasticsearch + Logstash + Kibana）服务服务搭建

时间  2019-11-22
标签 版本 elk elasticsearch logstash kibana 服务 搭建 栏目 日志分析 繁體版
原文   原文链接

1、ELK是什么鬼？前端

ELK其实是三个工具的集合，Elasticsearch + Logstash + Kibana，这三个工具组合造成了一套实用、易用的监控架构，不少公司利用它来搭建可视化的海量日志分析平台。java

1. ElasticSearchlinux

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并做为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，可以达到实时搜索，稳定，可靠，快速，安装使用方便。nginx

2. Logstashgit

Logstash是一个用于管理日志和事件的工具，你能够用它去收集日志、转换日志、解析日志并将他们做为数据提供给其它模块调用，例如搜索、存储等。github

3. Kibanaweb

Kibana是一个优秀的前端日志展现框架，它能够很是详细的将日志转化为各类图表，为用户提供强大的数据可视化支持。redis

2、ELK有何优点？数据库

1. 强大的搜索功能，elasticsearch能够以分布式搜索的方式快速检索，并且支持DSL的语法来进行搜索，简单的说，就是经过相似配置的语言，快速筛选数据。vim

2. 完美的展现功能，能够展现很是详细的图表信息，并且能够定制展现内容，将数据可视化发挥的淋漓尽致。

3. 分布式功能，可以解决大型集群运维工做不少问题，包括监控、预警、日志收集解析等。

3、ELK通常用来作啥？

ELK组件在海量日志系统的运维中，可用于解决：

- 分布式日志数据集中式查询和管理

- 系统监控，包含系统硬件和应用各个组件的监控

- 故障排查

- 安全信息和事件管理

- 报表功能

ELK组件在大数据运维系统中，主要可解决的问题以下：

- 日志查询，问题排查，上线检查

- 服务器监控，应用监控，错误报警，Bug管理

- 性能分析，用户行为分析，安全漏洞分析，时间管理

缘起:

在微服务开发过程当中，通常都会利用多台服务器作分布式部署，如何可以把分散在各个服务器中的日志归集起来作分析处理，是一个微服务服务须要考虑的一个因素。

搭建一个日志系统

搭建一个日志系统须要考虑一下一些因素：

利用什么技术，是本身实现还利用现成的组件

日志须要定义统一的格式

日志须要拥有一个锚点来进行全局跟踪

第一个问题，针对小公司来讲，基本没有本身的研发能力，绝对是选用第三方开源的组件了。ELK配置比较简单，有现成的UI界面，容易检索日志信息，是首选。 

第二个问题，利用log4j2定义好统一的日志格式，利用logstash过滤日志内容。 

第三个问题，全局跟踪的ID有几种生产方式，一种是利用UUID或者生成随机数，一种是利用数据库来生成sequence number，还能够经过自定义一个id生成服务来获取。考虑到自身服务的须要，这里选用生成随机数来实现。

ELK工做原理：

wKiom1lKVFvyPZrvAAB8KwQilDM847.png

从左边看起，每一台webserver上都会部署一个logstash-agent,它的做用是用相似tailf的方式监听日志文件，而后把新添加的日志发送到redis队列里面，logstash-indexer负责从redis相应的队列里面取出日志，对日志进进行加工后输出到elasticsearch中，elasticsearch会根据要求对日志进行索引归集，最后用户能够经过kibana来查看和分析日志。


软件包下载：

elasticsearch：

wget https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.2.1/elasticsearch-2.2.1.tar.gz

logstash：

wget https://download.elastic.co/logstash/logstash/logstash-2.2.2.tar.gz

kibana：

wget https://download.elastic.co/kibana/kibana/kibana-4.4.2-linux-x64.tar.gz

环境搭建：

注意：jdk可自行网上搜索安装方法

注：因为Logstash的运行依赖于Java环境， 而Logstash 1.5以上版本不低于java 1.7，所以推荐使用最新版本的Java。由于咱们只须要Java的运行环境，因此能够只安装JRE，不过这里我依然使用JDK，请自行搜索安装。


这次搭建须要使用的网络源：

虚拟机可以访问互联网：


安装Java环境

yum -y install java-1.8.0-openjdk*


安装Elasticsearch

tar -xvf elasticsearch-2.2.1.tar.gz -C /usr/local/

ln -s /usr/local/elasticsearch-2.2.1/ /usr/local/elasticsearch

cd /usr/local/elasticsearc


安装插件：

./bin/plugin install  mobz/elasticsearch-head

插件安装方法1：

1.elasticsearch/bin/plugin -install mobz/elasticsearch-head

2.运行es

3.打开http://localhost:9200/_plugin/head/

插件安装方法2：

1.https://github.com/mobz/elasticsearch-head下载zip 解压

2.创建elasticsearch-1.0.0\plugins\head\_site文件

3.将解压后的elasticsearch-head-master文件夹下的文件copy到_site

4.运行es

5.打开http://localhost:9200/_plugin/head/


建立用户和目录(由于elasticsearch 2.0.0 以上版本不能用root用户运行)

1
2
3
4
5		 [root@localhost]# groupadd -g 1000 elasticsearch
[root@localhost]# useradd -g 1000 -u 1000 elasticsearch
[root@localhost]# sudo -u elasticsearch mkdir /tmp/elasticsearch
[root@localhost]# ls /tmp/elasticsearch
[root@localhost]# sudo -u elasticsearch mkdir /tmp/elasticsearch/{data,logs}

mkdir /usr/local/elasticsearch/config/scripts 


编辑配置文件vim config/elasticsearch.yml  

加如如下四行(注意冒号后面有空格):

path.data: /tmp/elasticsearch/data

path.logs: /tmp/elasticsearch/logs

network.host: 192.168.100.10(服务器IP)

network.port: 9200

wKiom1lKVF3whTrcAAJRVBXSLGk275.png


启动服务：

sudo -u elastsearch /usr/local/elasticsearch/bin/elasticsearch

wKioL1lKVGGhY08tAAQ-2cTTXbI785.png


注意:若是正式应用须要在后台运行 

1 sudo -u elastsearch /usr/local/elasticsearch/bin/elasticsearch -d

注意:

能够看到，它跟其余的节点的传输端口为9300，接受HTTP请求的端口为9200。

# curl 192.168.100.10:9200  

{

  "name" : "Wilson Fisk",

  "cluster_name" : "elasticsearch",

  "version" : {

    "number" : "2.2.1",

    "build_hash" : "d045fc29d1932bce18b2e65ab8b297fbf6cd41a1",

    "build_timestamp" : "2016-03-09T09:38:54Z",

    "build_snapshot" : false,

    "lucene_version" : "5.4.1"

  },

  "tagline" : "You Know, for Search"

}

返回展现了配置的cluster_name和name，以及安装的ES的版本等信息。

wKiom1lKVGPi3dReAAG04CnWJPg950.png


刚刚安装的head插件，它是一个用浏览器跟ES集×××互的插件，能够查看集群状态、集群的doc内容、执行搜索和普通的Rest请求等。如今也可使用它打开http://192.168.253.140:9200/_plugin/head/页面来查看ES集群状态：

上面的功能仍是不错的！

wKioL1lKVGSx-EfgAACnXFe7-mQ521.png

wKioL1lKVGXhqpNvAADYodgqDQs387.png


【安装Logstash---数据日志存储和传输】

wKiom1lKVGaSEaM0AADLms-6Ngc725.png

其实它就是一个收集器而已，收集(input)和传输(output)，咱们须要为它指定Input和Output（固然Input和Output能够为多个）。能够指定input的日志和output到elasticsearch中

tar xvf logstash-2.2.2.tar.gz -C /usr/local/

ln -s /usr/local/logstash-2.2.2/ /usr/local/logstash


测试logstash

(1) 屏幕输入输出方式测试

/usr/local/logstash/bin/logstash -e 'input { stdin { } } output { stdout { } }'

wKioL1lKVGyCpZK3AAZiht7IxDY006.png

wKiom1lKVGzRWNlIAAAxIT8ARNU869.png

咱们能够看到，咱们输入什么内容logstash按照某种格式输出，其中-e参数参数容许Logstash直接经过命令行接受设置。这点尤为快速的帮助咱们反复的测试配置是否正确而不用写配置文件。使用CTRL-C命令能够退出以前运行的Logstash。

使用-e参数在命令行中指定配置是很经常使用的方式

不过若是须要配置更多设置则须要很长的内容。这种状况，咱们首先建立一个简单的配置文件，而且指定logstash使用这个配置文件。例如：在logstash安装目录下建立

配置logstash

建立配置文件目录：
mkdir -p /usr/local/logstash/etc
vim /usr/local/logstash/etc/hello_search.conf

输入下面：

# cat /usr/local/logstash/etc/hello_search.conf

input {

  stdin {

    type => "human"

  }

}

output {

  stdout {

    codec => rubydebug

  }

  elasticsearch {

        hosts => "192.168.100.10:9200"

  }

}


启动： /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/hello_search.conf

(以频幕上输入的方式输入，以rubydebug格式输出到屏幕，而且传递到elasticsearch)

wKiom1lKVG2Az-U-AAAyZWlceFA071.png

测试logstash日志是否传输到了elasticsearch 

经过如下接口:

curl 'http://192.168.253.140:9200/_search?pretty'

至此，你已经成功利用Elasticsearch和Logstash来收集日志数据了。


【安装kibana---展现数据】

注：如今kibanna能够自带了web服务，bin/kibana就能够直接启动了，建议不用nginx进行配合启动了，使用自带的web

安装Kibana

下载kibana后，解压到对应的目录就完成kibana的安装

解压、软链接

1
2		 tar -xzvf kibana-4.4.2-linux-x64.tar.gz -C /usr/local/
ln -s /usr/local/kibana-4.4.2-linux-x64/ /usr/local/kibana

启动kibanna

1 /usr/local/kibana-4.4.2-linux-x64/bin/kibana

或者

1 /usr/local/kibana/bin/kibana


此时是没有链接上elasticsearch

配置kibanna

vim /usr/local/kibana-4.4.2-linux-x64/config/kibana.yml

wKioL1lKVHLT1momAAXpwGBkARs429.png


重启

/usr/local/kibana/bin/kibana 

wKiom1lKVHKBXrkmAACBF9LVcJE658.png


web访问:

监听了5601做为web端口

使用http://kibanaServerIP：5601访问Kibana，登陆后，首先，配置一个索引，默认，Kibana的数据被指向Elasticsearch，使用默认的logstash-*的索引名称，而且是基于时间的，点击“Create”便可。

In order to use Kibana you must configure at least one index pattern. Index patterns are used to identify the Elasticsearch index to run search and analytics against. They are also used to configure fields.

为了后续使用Kibana，须要配置至少一个Index名字或者Pattern，它用于在分析时肯定ES中的Index

wKioL1lKVHTRCPFEAAIJ95PMNAA095.png



补充:

[配置logstash做为Indexer]

将logstash配置为索引器，并将logstash的日志数据存储到Elasticsearch，本范例主要是索引本地系统日志

cat /usr/local/logstash/etc/logstash-indexer.conf 

input {

  file {

    type =>"syslog"

     path => ["/var/log/messages", "/var/log/secure" ]

  }

  syslog {

    type =>"syslog"

    port =>"5544"

  }

}

output {

  stdout { codec=> rubydebug }

  elasticsearch {hosts => "192.168.100.10:9200" }

}

执行:

/usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstash-indexer.conf 

执行:

echo "谷歌alphago和李世石围棋大战"  >> /var/log/messages

wKiom1lKVHjgmbwqAASNg-ItoHU166.png

wKioL1lKVHmTrNdrAAHJNYxX7wc829.png


每一个收集日志的启动，都是一个独立的进程

wKioL1lKVITgcdHkAAQHOdgDCkw429.png

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程