开源实时日志分析ELK平台部署

开源实时日志分析ELK平台部署

时间 2015-07-21 17:13:10  51CTO推荐博文

原文   http://baidu.blog.51cto.com/71938/1676798

主题  Logstash  Elastic Search  开源

开源实时日志分析ELK平台部署

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员能够经过日志了解服务器软硬件信息、检查配置过程当中的错误及错误发生的缘由。常常分析日志能够了解服务器的负荷，性能安全性，从而及时采起措施纠正错误。

一般，日志被分散的储存不一样的设备上。若是你管理数十上百台服务器，你还在使用依次登陆每台机器的传统方法查阅日志。这样是否是感受很繁琐和效率低下。当务之急咱们使用集中化的日志管理，例如：开源的 syslog ，将全部服务器上的日志收集汇总。

集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，通常咱们使用 grep 、 awk 和 wc 等 Linux 命令能实现检索和统计，可是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法不免有点力不从心。

开源实时日志分析 ELK 平台可以完美的解决咱们上述的问题， ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。官方网站： https://www.elastic.co/products

l   Elasticsearch 是个开源分布式搜索引擎，它的特色有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful 风格接口，多数据源，自动搜索负载等。

l   Logstash 是一个彻底开源的工具，他能够对你的日志进行收集、分析，并将其存储供之后使用（如，搜索）。

l   kibana 也是一个开源和免费的工具，他 Kibana 能够为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，能够帮助您汇总、分析和搜索重要数据日志。

工做原理以下如所示：

在须要收集日志的全部服务上部署 logstash ，做为 logstash agent （ logstash shipper ）用于监控并过滤收集日志，将过滤后的内容发送到 logstash indexer ， logstash indexer 将日志收集在一块儿交给全文搜索服务 ElasticSearch ，能够用 ElasticSearch 进行自定义搜索经过 Kibana 来结合自定义搜索进行页面展现。

开源实时日志分析ELK平台部署流程：

（ 1 ）安装 Logstash 依赖包 JDK

Logstash 的运行依赖于 Java 运行环境， Logstash 1.5 以上版本不低于 java 7 推荐使用最新版本的 Java 。因为咱们只是运行 Java 程序，而不是开发，下载 JRE 便可。首先，在 Oracle 官方下载新版 jre ，下载地址： http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

能够看到提供了多种版本，下载时，选择适合本身机器运行环境的版本，我使用的是 RHEL6.5 x86_64 的操做系统，因此，下载 linux-64 的版本。若是使用 Linux 下载执行以下命令下载便可。

#wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz

JDK 的安装方式比较简单，只需将下载回来的程序包解压到相应的目录便可。

# mkdir /usr/local/java
# tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/local/java/

设置 JDK 的环境变量，以下：

# tail -3 ~/.bash_profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_45 export PATH=$PATH:$JAVA_HOME/bin exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

在 Shell 提示符中执行 java �version 命令，显示以下结果，说明安装成功：

# java -version
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14) Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02,mixed mode)

（ 2 ）安装 Logstash

下载并安装 Logstash ，安装 logstash 只需将它解压的对应目录便可，例如： /usr/local 下：

# https://download.elastic.co/logstash/logstash/logstash-1.5.2.tar.gz # tar �zxf logstash-1.5.2.tar.gz -C /usr/local/

安装完成后运行以下命令：

# /usr/local/logstash-1.5.2/bin/logstash -e 'input { stdin { } } output { stdout {} }' Logstash startup completed Hello World! 2015-07-15T03:28:56.938Z noc.vfast.com Hello World!

咱们能够看到，咱们输入什么内容logstash按照某种格式输出，其中-e参数参数容许Logstash直接经过命令行接受设置。这点尤为快速的帮助咱们反复的测试配置是否正确而不用写配置文件。使用CTRL-C命令能够退出以前运行的Logstash。

使用-e参数在命令行中指定配置是很经常使用的方式，不过若是须要配置更多设置则须要很长的内容。这种状况，咱们首先建立一个简单的配置文件，而且指定logstash使用这个配置文件。 例如：在 logstash 安装目录下建立一个“基本配置”测试文件 logstash-test.conf， 文件内容以下：

# cat logstash-simple.conf input { stdin { } } output { stdout { codec=> rubydebug } }

Logstash 使用 input 和 output 定义收集日志时的输入和输出的相关配置，本例中 input 定义了一个叫 "stdin" 的 input ， output 定义一个叫 "stdout" 的 output 。不管咱们输入什么字符， Logstash 都会按照某种格式来返回咱们输入的字符，其中 output 被定义为 "stdout" 并使用了 codec 参数来指定 logstash 输出格式。

使用logstash的-f参数来读取配置文件，执行以下开始进行测试：

# echo "`date`  hello World"
Thu Jul 16 04:06:48 CST 2015 hello World # /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-simple.conf Logstash startup completed Tue Jul 14 18:07:07 EDT 2015 hello World #该行是执行echo “`date`hello World” 后输出的结果，直接粘贴到该位置 { "message" => "Tue Jul 14 18:07:07 EDT 2015 helloWorld", "@version" => "1", "@timestamp" => "2015-07-14T22:07:28.284Z", "host" => "noc.vfast.com" }

（ 3 ）安装 Elasticsearch

下载 Elasticsearch 后，解压到对应的目录就完成 Elasticsearch 的安装。

# tar -zxf elasticsearch-1.6.0.tar.gz -C /usr/local/

启动 Elasticsearch

# /usr/local/elasticsearch-1.6.0/bin/elasticsearch

若是使用远程链接的 Linux 的方式并想后台运行 elasticsearch 执行以下命令：

# nohup /usr/local/elasticsearch-1.6.0/bin/elasticsearch >nohup &

确认 elasticsearch 的 9200 端口已监听，说明 elasticsearch 已成功运行

# netstat -anp |grep :9200
tcp 0 0 :::9200 :::* LISTEN 3362/java

接下来咱们在 logstash 安装目录下建立一个用于测试 logstash 使用 elasticsearch 做为 logstash 的后端的测试文件 logstash-es-simple.conf，该文件中定义了stdout和elasticsearch做为output，这样的“多重输出”即保证输出结果显示到屏幕上，同时也输出到elastisearch中。

# cat logstash-es-simple.conf input { stdin { } } output { elasticsearch {host => "localhost" } stdout { codec=> rubydebug } }

执行以下命令

# /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-es-simple.conf
… …
Logstash startup completed
hello logstash
{
      "message" => "hello logstash", "@version" => "1", "@timestamp" => "2015-07-15T18:12:00.450Z", "host" => "noc.vfast.com" }

咱们可使用 curl 命令发送请求来查看 ES 是否接收到了数据：

# curl 'http://localhost:9200/_search?pretty' 返回结果 { "took": 58, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "failed" : 0 }, "hits": { "total" : 1, "max_score" : 1.0, "hits" : [ { "_index" : "logstash-2015.07.15", "_type" : "logs", "_id" : "AU6TWiixxDXYhySMyTkP", "_score" : 1.0, "_source":{"message":"hellologstash","@version":"1","@timestamp":"2015-07-15T20:13:55.199Z","host":"noc.vfast.com"} } ] } }

至此，你已经成功利用 Elasticsearch 和 Logstash 来收集日志数据了。

（ 4 ）安装 elasticsearch 插件

Elasticsearch-kopf 插件能够查询 Elasticsearch 中的数据，安装 elasticsearch-kopf ，只要在你安装 Elasticsearch 的目录中执行如下命令便可：

# cd /usr/local/elasticsearch-1.6.0/ # ./plugin -install lmenezes/elasticsearch-kopf

安装完成后在 plugins 目录下能够看到 kopf

# ls plugins/
kopf

在浏览器访问 http://10.1.1.188:9200/_plugin/kopf 浏览保存在 Elasticsearch 中的数据，以下所示：

（ 5 ）安装 Kibana

下载 kibana 后，解压到对应的目录就完成 kibana 的安装

# tar -zxf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/

启动 kibana

# /usr/local/kibana-4.1.1-linux-x64/bin/kibana

使用 http://kibanaServerIP ： 5601 访问 Kibana ，登陆后，首先，配置一个索引，默认， Kibana 的数据被指向 Elasticsearch ，使用默认的 logstash-* 的索引名称，而且是基于时间的，点击“ Create ”便可。

看到以下界面说明索引建立完成。

点击“ Discover ”，能够搜索和浏览 Elasticsearch 中的数据，默认搜索的是最近 15 分钟的数据。能够自定义选择时间。

到此，说明你的 ELK 平台安装部署完成。

（ 6 ）配置 logstash 做为 Indexer

将 logstash 配置为索引器，并将 logstash 的日志数据存储到 Elasticsearch ，本范例主要是索引本地系统日志。

# cat /usr/local/logstash-1.5.2/logstash-indexer.conf
input {
  file {
    type =>"syslog" path => ["/var/log/messages", "/var/log/syslog" ] } syslog { type =>"syslog" port =>"5544" } } output { stdout { codec=> rubydebug } elasticsearch {host => "localhost" } } # /usr/local/logstash-1.5.2/bin/logstash -flogstash-indexer.conf

使用 echo 命令模拟写入日志，命令执行后看到以下图的信息

# echo "`date` 优衣库视频" >>/var/log/messages

刷新 kibana ，发现最新的测试数据显示到浏览器中，以下图所示：

到此， ELK 平台部署和基本的测试已完成。