ELK用于分布式收集,而后elasticsearch用于分析数据,在Kibana中能够查看数据、报表。
目前公司日志数据量暂时不使用elasticsearch集群,只是用的elasticsearch单机模式。vim
机器环境
如下软件都是基于5.6
elasticsearch+Kibana:172.16.88.56
logstash:172.16.88.99bash
在每台机器上执行以下操做:服务器
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
vim /etc/yum.repos.d/logstash.repoelasticsearch
[logstash-5.x] name=Elastic repository for 5.x packages baseurl=https://artifacts.elastic.co/packages/5.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md
172.16.88.56安装elasticsearch Kibana分布式
yum install -y elasticsearch kibana
配置 elasticsearch
kibana
对应的配置文件性能
elasticsearch:/etc/elasticsearch/elasticsearch.yml kibana:/etc/kibana/kibana.yml
其中:搜索引擎
network.host: 172.16.88.56 #服务器IP http.port: 9200 #对应的端口 path.data: /home/elasticsearch
network.host 服务器IP。
http.port 对应的端口。
path.data 数据保存的位置。
若是改这个data须要把/var/lib/elasticsearch/* 复制到/home/elasticsearch 目录下
同时注意/home/elasticsearch的权限 elasticsearch:elasticsearch
不然会报错url
server.port: 5601 server.host: "172.16.88.56" elasticsearch.url: "http://172.16.88.56:9200"
指定服务器地址与kibana可访问的接口以及搜索引擎的地址与接口调试
service elasticsearch start chkconfig elasticsearch on service kibana on chkconfig kibana on
172.16.88.99
安装 logstash
日志
yum install -y logstash
配置 logstash
对应的配置文件
logstash:/etc/logstash/logstash.yml
172.16.88.99安装logstash
pipeline.workers: 4 pipeline.output.workers: 2 pipeline.batch.size: 1024
修改的logstash工做进程数与输出的进程数,以及批处理的数量,依照服务器性能以及filebeat端是否报错进行相应的报错,
若是过小 filebeat老是报超时。
其余的配置好比 链接elasticsearch在后边进行说明。
调试模式下执行:
/usr/share/logstash/bin/logstash --config.reload.automatic -f /etc/logstash/conf.d #不用中止服务,自动加载配置文件
生产环境:
service logstash start chkconfig logstash on