第一章·ELKstack介绍及Elasticsearch部署

1、ELKstack课程大纲



2、ELKstack简介

什么是ELK？

通俗来说，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，这三个软件当中，每一个软件用于完成不一样的功能，ELK 又称为ELK stack，官方域名为elastic.co，ELK stack的主要优势有以下几个：

• 1.处理方式灵活： elasticsearch是实时全文索引，具备强大的搜索功能
• 2.配置相对简单：elasticsearch所有使用JSON 接口，logstash使用模块配置，kibana的配置文件部分更简单。
• 3.检索性能高效：基于优秀的设计，虽然每次查询都是实时，可是也能够达到百亿级数据的查询秒级响应。
• 4.集群线性扩展：elasticsearch和logstash均可以灵活线性扩展
• 5.前端操做绚丽：kibana的前端设计比较绚丽，并且操做简单

---

什么是Elasticsearch？

是一个高度可扩展的开源全文搜索和分析引擎，它可实现数据的实时全文搜索搜索、支持分布式可实现高可用、提供API接口，能够处理大规模日志数据，好比Nginx、Tomcat、系统日志等功能。



---

什么是Logstash？

能够经过插件实现日志收集和转发，支持日志过滤，支持普通log、自定义json格式的日志解析。



---

什么是Kibana？

主要是经过接口调用elasticsearch的数据，并进行前端数据可视化的展示。


3、ELKstack部署及配置

环境准备

公网IP	内网IP	主机名	部署服务	用途
10.0.0.51	172.16.1.51	elkstack01	elasticsearch、JDK	存储日志的数据库
10.0.0.52	172.16.1.52	elkstack02	elasticsearch、JDK	存储日志的数据库
10.0.0.53	172.16.1.53	elkstack03	Logstash、JDK	收集日志、过滤日志
10.0.0.54	172.16.1.54	elkstack04	Redis、Kibana	消息队列、日志展现
10.0.0.55	172.16.1.55	nginx01	nginx、filebeat	修改nginx日志格式为json收集
10.0.0.56	172.16.1.56	tomcat01	tomcat、JDK、filebeat	修改tomcat日志格式为json收集

---

安装包准备

安装包名	用途
elasticsearch-5.3.0.rpm	存储日志的数据库
elasticsearch-head.tar.gz	elasticsearch的web界面插件
logstash-5.3.0.rpm	日志收集、日志分析工具
kibana-5.3.0-x86_64.rpm	日志展现、日志查询工具
filebeat-5.3.2-x86_64.rpm	日志收集工具（比Logstash轻量）
jdk-8u121-linux-x64.tar.gz	JAVA容器（es、Logstash、tomcat须要）
nginx-1.10.3.tar.gz	测试收集nginx日志
apache-tomcat-8.0.38.tar.gz	测试收集tomcat日志
redis-3.2.8.tar.gz	消息队列工具

---

Elasticsearch环境准备

关闭防火墙

#CentOS6 关闭防火墙 [root@elkstack01 ~]# /etc/init.d/iptables stop #CentOS7 关闭防火墙 [root@elkstack01 ~]# systemctl stop firewalld 

关闭SELINUX

#临时关闭 [root@elkstack01 ~]# setenforce 0 setenforce: SELinux is disabled #永久关闭 [root@elkstack01 ~]# vim /etc/sysconfig/selinux # This file controls the state of SELinux on the system. # SELINUX= can take one of these three values: # enforcing - SELinux security policy is enforced. # permissive - SELinux prints warnings instead of enforcing. # disabled - No SELinux policy is loaded. SELINUX=disabled ==> //原来是enforcing 改为disabled # SELINUXTYPE= can take one of these two values: # targeted - Targeted processes are protected, # mls - Multi Level Security protection. SELINUXTYPE=targeted 

设置epel源

#CentOS6 下载epel源 [root@elkstack01 ~]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo #CentOS7 下载epel源 [root@elkstack01 ~]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo 

修改时区

#将时区修改成上海时区 [root@elkstack01 ~]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime cp：是否覆盖"/etc/localtime"？ y 

设置时间同步

#同步服务器时间（切记保证集群之间时间一致很是重要）
[root@elkstack01 ~]# ntpdate time1.aliyun.com 28 Feb 14:11:28 ntpdate[8904]: step time server 203.107.6.88 offset 3168820.831817 sec 

---

部署Elasticsearch

在elkstack01 和 elkstack02两台机器分别安装elasticsearch，由于elasticsearch服务运行须要JAVA环境，因此两台服务器都须要安装JAVA环境。

安装JDK环境

下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

#解压JDK安装包 [root@elkstack01 ~]# tar xf jdk-8u121-linux-x64.tar.gz #将JDK安装包移动到安装目录下 [root@elkstack01 ~]# mv jdk1.8.0_121 /usr/local/ #作软连接(方便往后升级) [root@elkstack01 ~]# ln -s /usr/local/jdk1.8.0_121 /usr/local/jdk1.8 #添加环境变量 [root@elkstack01 ~]# vim /etc/profile.d/jdk1.8.sh export JAVA_HOME=/usr/local/jdk1.8 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin #加载环境变量 [root@elkstack01 ~]# source /etc/profile #检查是否加载成功 [root@elkstack01 ~]# java -version java version "1.8.0_121" Java(TM) SE Runtime Environment (build 1.8.0_121-b13) Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode) 

安装elasticsearch

下载地址: https://www.elastic.co/downloads/elasticsearch

#安装elasticsearch使用yum localinstall 自动安装依赖包 [root@elkstack01 ~]# yum localinstall -y elasticsearch-5.3.0.rpm 

修改配置文件

若是系统是CentOS6则作如下修改

#查看配置文件修改部份内容 [root@elkstack01 ~]# grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml #设置集群名称（想要其余节点加入同一个集群必须集群名称相同） cluster.name: elk-cluster #节点名称（经过此配置项来区分集群中的全部节点） node.name: elk01 #elasticsearch数据存放目录 path.data: /data/elk/data #elasticsearch日志存放目录 path.logs: /data/elk/logs #CentOS6不支持内存锁功能，因此要关闭内存锁 bootstrap.memory_lock: false bootstrap.system_call_filter: false #elasticsearch监听地址 network.host: 0.0.0.0 #elasticsearch服务端口 http.port: 9200 #配置全部集群节点IP discovery.zen.ping.unicast.hosts: ["10.0.0.51", "10.0.0.52"] 

若是系统是CentOS7则作如下修改

#查看配置文件修改部份内容(CentOS7中配置) [root@elkstack01 ~]# grep "^[a-Z]" /etc/elasticsearch/elasticsearch.yml #设置集群名称（想要其余节点加入同一个集群必须集群名称相同） cluster.name: elk-cluster #节点名称（经过此配置项来区分集群中的全部节点） node.name: elk01 #elasticsearch数据存放目录 path.data: /data/elk/data #elasticsearch日志存放目录 path.logs: /data/elk/logs #内存锁设置（在CentOS7中支持内存锁而且要修改启动脚本） bootstrap.memory_lock: true #elasticsearch监听地址 network.host: 0.0.0.0 #elasticsearch服务端口 http.port: 9200 #配置全部集群节点IP discovery.zen.ping.unicast.hosts: ["10.0.0.51", "10.0.0.52"] #修改启动脚本 [root@elkstack01 ~]# vim /usr/lib/systemd/system/elasticsearch.service #修改内存限制（去掉此行注释） LimitMEMLOCK=infinity #从新加载启动脚本 [root@elkstack01 ~]# systemctl reload-daemon 

建立目录并受权

#建立数据目录 [root@elkstack01 ~]# mkdir -p /data/elk/data #建立日志目录 [root@elkstack01 ~]# mkdir -p /data/elk/logs #受权 [root@elkstack01 ~]# chown -R elasticsearch.elasticsearch /data/elk/ 

优化文件描述符

#编辑limit文件 [root@elkstack01 ~]# vim /etc/security/limits.conf * soft memlock unlimited * hard memlock unlimited * soft nofile 131072 * hard nofile 131072 #编辑子配置文件（CentOS6） [root@elkstack01 ~]# vim /etc/security/limits.d/90-nproc.conf * soft nproc 2048 root soft nproc unlimited 

设置JVM最大最小内存限制

#编辑配置文件 [root@elkstack01 ~]# vim /etc/elasticsearch/jvm.options -Xms1g -Xmx1g 

启停elasticsearch

#CentOS6 启动、中止elasticsearch [root@elkstack01 ~]# /etc/init.d/elasticsearch start [root@elkstack01 ~]# /etc/init.d/elasticsearch stop #CentOS7 启动、中止elasticsearch [root@elkstack01 ~]# systemctl start elasticsearch [root@elkstack01 ~]# systemctl stop elasticsearch #查看启动进程 [root@elkstack01 ~]# ps -ef|grep java #查看端口 [root@elkstack01 ~]# netstat -lntup tcp 0 0 :::9200 :::* LISTEN 10872/java tcp 0 0 :::9300 :::* LISTEN 10872/java 

验证启动elasticsearch后的页面

打开浏览器访问地址：http://10.0.0.51:9200/



{
  #此节点名称 "name" : "elk01", #此集群名称 "cluster_name" : "elk-cluster", #集群的uuid "cluster_uuid" : "XFsbUh_AT2y5jyZLGOAZ3w", "version" : { #elasticsearch版本 "number" : "5.3.0", "build_hash" : "3adb13b", "build_date" : "2017-03-23T03:31:50.652Z", #建立快照 "build_snapshot" : false, #Lucene语法版本（基于Lucene作日志搜索） "lucene_version" : "6.4.1" }, #口号 "tagline" : "You Know, for Search" } 

其余节点安装并加入集群

安装其余节点，步骤和上面同样，修改配置文件时，直接将elk01节点的配置文件scp（拷贝）过去，而后在配置文件中讲节点名称修改后启动便可。

#发送配置文件到其余节点 [root@elkstack01 ~]# scp /etc/elasticsearch/elasticsearch.yml 172.16.1.52:/etc/elasticsearch/ #修改其余节点配置文件 [root@elkstack02 ~]# vim /etc/elasticsearch/elasticsearch.yml #此行节点名称惟一便可 node.name: elk02 

操做完成后，一样启动elasticsearch而且访问9200端口，检查是否安装成功。

访问地址：http://10.0.0.52:9200/



如上图所示：能够看到节点名称是不同的。

---

安装elasticsearch插件

插件是为了完成不一样的功能，官方提供了一些插件但大部分是收费的，另外也有一些开发爱好者提供的插件，能够实现对elasticsearch集群的状态监控与管理配置等功能，咱们如今要安装的是Elasticsearch的head插件，此插件提供elasticsearch的web界面功能。

安装Elasticsearch的head插件时，要安装npm，npm的全称是Node Package Manager，是随同NodeJS一块儿安装的包管理和分发工具，它很方便让JavaScript开发者下载、安装、上传以及管理已经安装的包。

在Elasticsearch 5.x版本之后再也不支持直接安装head插件，而是须要经过启动一个服务方式。
Github地址：https://github.com/mobz/elasticsearch-head

#安装npm（只须要在一个节点安装便可，若是前端还有nginx作反向代理能够每一个节点都装） [root@elkstack01 ~]# yum install -y npm #进入下载head插件代码目录 [root@elkstack01 src]# cd /usr/local/ #从GitHub上克隆代码到本地 [root@elkstack01 local]# git clone git://github.com/mobz/elasticsearch-head.git #克隆完成后，进入elasticsearch插件目录 [root@elkstack01 local]# cd elasticsearch-head/ #清除缓存 [root@elkstack01 elasticsearch-head]# npm cache clean -f #使用npm安装n模块（不一样的项目js脚本所需的node版本可能不一样，因此就须要node版本管理工具） [root@elkstack01 elasticsearch-head]# npm install -g n #安装最新版本n模块 [root@elkstack01 elasticsearch-head]# n stable #生成grunt [root@elkstack01 elasticsearch-head]# npm install grunt -save #确认生成grunt文件 [root@elkstack01 elasticsearch-head]# ll node_modules/grunt #执行安装grunt [root@elkstack01 elasticsearch-head]# npm install #后台启动head插件（切记，必须在插件目录下执行启动命令） [root@elkstack01 elasticsearch-head]# npm run start & #验证端口是否启动成功 [root@elkstack01 elasticsearch-head]# netstat -lntup tcp 0 0 0.0.0.0:9100 0.0.0.0:* LISTEN 11293/grunt #启动成功后，修改elasticsearch配置文件 [root@elkstack01 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml #添加以下两行，开启跨域访问支持（添加在配置文件最后便可） http.cors.enabled: true http.cors.allow-origin: "*" #重启elasticsearch [root@elkstack01 elasticsearch-head]# /etc/init.d/elasticsearch restart 

若是启动成功了，则打开浏览器，访问：http://10.0.0.51:9100/

安装成功界面以下：


安装n模块遇到报错SSL认证问题，解决方案以下。


#取消npm的ssl验证 [root@elkstack01 elasticsearch-head]# npm config set strict-ssl false