ELK服务搭建（开源实时日志分析ELK平台部署）（低版本—简单部署）

开源实时日志分析ELK平台部署

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员能够经过日志了解服务器软硬件信息、检查配置过程当中的错误及错误发生的缘由。常常分析日志能够了解服务器的负荷，性能安全性，从而及时采起措施纠正错误。

一般，日志被分散的储存不一样的设备上。若是你管理数十上百台服务器，你还在使用依次登陆每台机器的传统方法查阅日志。这样是否是感受很繁琐和效率低下。当务之急咱们使用集中化的日志管理，例如：开源的syslog，将全部服务器上的日志收集汇总。

集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，通常咱们使用grep、awk和wc等Linux命令能实现检索和统计，可是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法不免有点力不从心。

开源实时日志分析ELK平台可以完美的解决咱们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：https://www.elastic.co

Elasticsearch是个开源分布式搜索引擎，它的特色有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash是一个彻底开源的工具，他能够对你的日志进行收集、分析，并将其存储供之后使用（如，搜索）。

kibana 也是一个开源和免费的工具，他Kibana能够为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，能够帮助您汇总、分析和搜索重要数据日志。

说明：在须要收集日志的全部服务上部署logstash，做为logstash agent（logstash shipper）用于监控并过滤收集日志，将过滤后的内容发送到logstash indexer，logstash indexer将日志收集在一块儿交给全文搜索服务ElasticSearch，能够用ElasticSearch进行自定义搜索经过Kibana 来结合自定义搜索进行页面展现。

（1）安装Logstash依赖包JDK

Logstash的运行依赖于Java运行环境， Logstash 1.5以上版本不低于java 7推荐使用最新版本的Java。因为咱们只是运行Java程序，而不是开发，下载JRE便可。首先，在Oracle官方下载新版jre， 下载地址：http://www.oracle.com/technetwork/java/javase/downloads

咱们使用的是：jre-8u131-linux-x64.tar.gz

JDK的安装方式比较简单，只需将下载回来的程序包解压到相应的目录便可

mkdir /usr/local/java

tar -xvf jre-8u131-linux-x64.tar.gz -C /usr/local/java

vim ~/.bash_profile

export JAVA_HOME=/usr/local/java/jre1.8.0_131

export PATH=$PATH:$JAVA_HOME/bin

exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

source ~/.bash_profile

[root@www ~]#java -version

java version "1.8.0_131"

Java(TM) SE Runtime Environment (build 1.8.0_131-b11)

Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

（2）安装Logstash

咱们使用的版本：logstash-1.5.2.tar.gz

tar -xvf logstash-1.5.2.tar.gz -C /usr/local/

运行如下命令测试logstash

[root@www ~]# /usr/local/logstash-1.5.2/bin/logstash -e 'input { stdin { } } output { stdout { } }'

Logstash startup completed

hello world (本身输入)

2017-05-23T17:09:56.700Z www.elastic.co hello world

咱们能够看到，咱们输入什么内容logstash按照某种格式输出，其中-e参数参数容许Logstash直接经过命令行接受设置。这点尤为快速的帮助咱们反复的测试配置是否正确而不用写配置文件。使用CTRL+C命令能够退出以前运行的Logstash。

使用-e参数在命令行中指定配置是很经常使用的方式，不过若是须要配置更多设置则须要很长的内容。这种状况，咱们首先建立一个简单的配置文件，而且指定logstash使用这个配置文件。例如：在logstash安装目录下建立一个“基本配置”测试文件llogstash-simple.conf，文件内容以下：

# cat logstash-simple.conf

input { stdin { } }
output {
stdout { codec=> rubydebug }
}

Logstash使用input和output定义收集日志时的输入和输出的相关配置，本例中input定义了一个叫"stdin"的input，output定义一个叫"stdout"的output。不管咱们输入什么字符，Logstash都会按照某种格式来返回咱们输入的字符，其中output被定义为"stdout"并使用了codec参数来指定logstash输出格式。 

使用logstash的-f参数来读取配置文件，执行以下开始进行测试：

[root@www ~]# /usr/local/logstash-1.5.2/bin/logstash agent -f /usr/local/logstash-1.5.2/logstash-simple.conf

Logstash startup completed

`date` hello world

{

"message" => "`date` hello world",

"@version" => "1",

"@timestamp" => "2017-05-23T17:14:16.312Z",

"host" => "www.elastic.co"

}

（3）安装Elasticsearch

咱们使用的版本是：elasticsearch-1.6.0.tar.gz

tar -xvf elasticsearch-1.6.0.tar.gz -C /usr/local/

启动Elasticsearch

# /usr/local/elasticsearch-1.6.0/bin/elasticsearch

若是使用远程链接的Linux的方式并想后台运行elasticsearch执行以下命令：

# nohup /usr/local/elasticsearch-1.6.0/bin/elasticsearch >nohup &

确认elasticsearch的9200端口已监听，说明elasticsearch已成功运行

# netstat -anp |grep :9200 tcp 0 0 :::9200 :::* LISTEN 3362/java

接下来咱们在logstash安装目录下建立一个用于测试logstash使用elasticsearch做为logstash的后端的测试文件logstash-es-simple.conf，该文件中定义了stdout和elasticsearch做为output，这样的“多重输出”即保证输出结果显示到屏幕上，同时也输出到elastisearch中。

[root@www ~]# cat /usr/local/logstash-1.5.2/logstash-es-simple.conf

input { stdin { } }

output {

elasticsearch {host => "localhost" }

stdout { codec=> rubydebug }

}

[root@www ~]# /usr/local/logstash-1.5.2/bin/logstash agent -f /usr/local/logstash-1.5.2/logstash-es-simple.conf

五月 24, 2017 1:21:42 上午 org.elasticsearch.node.internal.InternalNode <init>

信息: [logstash-www.elastic.co-1318-11620] version[1.5.1], pid[1318], build[5e38401/2015-04-09T13:41:35Z]

五月 24, 2017 1:21:42 上午 org.elasticsearch.node.internal.InternalNode <init>

信息: [logstash-www.elastic.co-1318-11620] initializing ...

五月 24, 2017 1:21:42 上午 org.elasticsearch.plugins.PluginsService <init>

信息: [logstash-www.elastic.co-1318-11620] loaded [], sites []

五月 24, 2017 1:21:45 上午 org.elasticsearch.node.internal.InternalNode <init>

信息: [logstash-www.elastic.co-1318-11620] initialized

五月 24, 2017 1:21:45 上午 org.elasticsearch.node.internal.InternalNode start

信息: [logstash-www.elastic.co-1318-11620] starting ...

五月 24, 2017 1:21:45 上午 org.elasticsearch.transport.TransportService doStart

信息: [logstash-www.elastic.co-1318-11620] bound_address {inet[/0:0:0:0:0:0:0:0:9301]}, publish_address {inet[/192.168.253.100:9301]}

五月 24, 2017 1:21:45 上午 org.elasticsearch.discovery.DiscoveryService doStart

信息: [logstash-www.elastic.co-1318-11620] elasticsearch/eQ2KQ7yHTlCV6F0RuP-QoA

五月 24, 2017 1:21:48 上午 org.elasticsearch.cluster.service.InternalClusterService$UpdateTask run

信息: [logstash-www.elastic.co-1318-11620] detected_master [Silver Sable][-RT1zJAyRMKU9iHIhzsdEw][www.elastic.co][inet[/192.168.253.100:9300]], added {[Silver Sable][-RT1zJAyRMKU9iHIhzsdEw][www.elastic.co][inet[/192.168.253.100:9300]],}, reason: zen-disco-receive(from master [[Silver Sable][-RT1zJAyRMKU9iHIhzsdEw][www.elastic.co][inet[/192.168.253.100:9300]]])

五月 24, 2017 1:21:48 上午 org.elasticsearch.node.internal.InternalNode start

信息: [logstash-www.elastic.co-1318-11620] started

Logstash startup completed

hello logstash

{

"message" => "hello logstash",

"@version" => "1",

"@timestamp" => "2017-05-23T17:21:57.511Z",

"host" => "www.elastic.co"

}

也可使用curl http://localhost:9200/_search?pretty查看

至此，你已经成功利用Elasticsearch和Logstash来收集日志数据了。

（4）安装elasticsearch插件

Elasticsearch-kopf插件能够查询Elasticsearch中的数据，安装elasticsearch-kopf，只要在你安装Elasticsearch的目录中执行如下命令便可：

./bin/plugin -install lmenezes/elasticsearch-kopf

# cd /usr/local/elasticsearch-1.6.0/ # ./plugin -install lmenezes/elasticsearch-kopf

安装完成后在plugins目录下能够看到kopf

# ls plugins/ kopf

（5）安装Kibana

tar -xvf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/

启动：

/usr/local/kibana-4.1.1-linux-x64/bin/kibana

使用http://kibanaServerIP：5601访问Kibana，登陆后，首先，配置一个索引，默认，Kibana的数据被指向Elasticsearch，使用默认的logstash-*的索引名称，而且是基于时间的，点击“Create”便可。

点击“Discover”，能够搜索和浏览Elasticsearch中的数据，默认搜索的是最近15分钟的数据。能够自定义选择时间。

到此，说明你的ELK平台安装部署完成。

（6）配置logstash做为Indexer

将logstash配置为索引器，并将logstash的日志数据存储到Elasticsearch，本范例主要是索引本地系统日志。

# cat /usr/local/logstash-1.5.2/logstash-indexer.conf input { file { type =>"syslog" path => ["/var/log/messages", "/var/log/syslog" ] } syslog { type =>"syslog" port =>"5544" } } output { stdout { codec=> rubydebug } elasticsearch {host => "localhost" } } # /usr/local/logstash-1.5.2/bin/logstash -flogstash-indexer.conf

使用echo命令模拟写入日志，命令执行后看到以下图的信息

# echo "`date` 优衣库视频" >>/var/log/messages

kibana，发现最新的测试数据显示到浏览器中，以下图所示：

至此，ELK平台部署和基本的测试已完成。