ElK日志收集系统

ElK日志收集系统
什么叫ELK
Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful 风格接口，多数据源，自动搜索负载等。
Logstash 是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。
kibana 也是一个开源和免费的工具，他 Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

工作原理

File:C:/Users/fan/AppData/Local/YNote/data/qqE64F7CF5CBE1C35803FB7DE819C59BA9/0a87484a39ee410e85c11e6f29095b70/elk.png
在需要收集日志的所有服务上部署 logstash ，作为 logstash agent （ logstash shipper ）用于监控并过滤收集日志，将过滤后的内容发送到 logstash indexer ， logstash indexer 将日志收集在一起交给全文搜索服务 ElasticSearch ，可以用 ElasticSearch 进行自定义搜索通过 Kibana 来结合自定义搜索进行页面展示。

elk的主要功能是什么
简单说就是elk 对日志收集汇总以及检索 的一套程序组合。
日志分很多种，包括系统日志，程序日志，安全日志，访问日志等，通常分布在不同的服务器上，这时候我们需要把日志汇总到一起进行分析。logstash的功能。
日志汇总后，我们需要对日志进行分析统计等。例如nginx日志，今天的访问量多少啊，500错误多少，请求返回的平均时长 是多少等等。传统的我们会用grep awk wc cut等来实现。现在我们用Elasticsearch来实现
分析完日志以后，我们需要做个汇总，比如给别人发邮件，为了形象地展示数据，我们需要excel来画个图。kibana的功能。

部署文档见附件

目前cbas 主要采集hadoop一些组件的程序日志，例如flume，kafka，storm等。用flume程序替换掉logstash。我们可以叫这个系统EFK。

访问地址

http://172.21.54.20:5601/

elasticsearch集群增加节点
1、按照附件中的文档部署jdk和es，其中es的elasticsearch.yml配置文件中cluster.name和172.21.54.20的保持一致，即cluster.name: es_hxmonitor
vim jvm.options
elasticsearch.yml

2、打开elasticsearch.yml配置文件中的discovery.zen.ping.unicast.hosts配置项，配置成discovery.zen.ping.unicast.hosts: [“wcjf_cbas_elk_215_20”, “wcjf_cbas_elk_54_95”]

/home/elk/elasticsearch-5.0.1/bin/elasticsearch-plugin install file:///home/elk/x-pack-5.0.1.zip

3、启动95上的es
/home/elk/elasticsearch-5.0.1/bin/elasticsearch -d

4、访问http://172.21.54.95:9200/_nodes?pretty，查看并确认95节点是否已经添加到集群中
{
“_nodes” : {
“total” : 2,
“successful” : 2,
“failed” : 0
},
“cluster_name” : “es_hxmonitor”,
“nodes” : {
“kwWYsewGQ8yRKbCxSMYo2w” : {
“name” : “wcjf_cbas_elk_215_20”,
“transport_address” : “172.21.54.20:9300”,
“host” : “172.21.54.20”,
“ip” : “172.21.54.20”,
“version” : “5.0.1”,
“build_hash” : “080bb47”,
“total_indexing_buffer” : 3415913267,
“roles” : [
“master”,
“data”,
“ingest”
],

管理插件：
一、bigdesk

cd /home/elk/bigdesk/_site && python -m SimpleHTTPServer

bigdesk工具：http://172.21.54.91:8000 （在页面的es地址栏输入相应的ip和端口）

二、head

登陆cbas项目windows跳板机，打开chrome浏览器，右上角点击head插件即可