ELK集群部署+kafka集群部署

时间  2020-07-21 标签 elk 集群 部署 kafka

一：Elasticsearch集群部署javascript

系统类型：Centos7.x
节点IP：172.16.244.2五、172.16.244.2六、172.16.244.27
软件版本：jdk-8u121-linux-x64.tar.gz、elasticsearch-6.5.4.tar.gz
示例节点：172.16.244.25 ABC
官网：
https://www.elastic.co/css

node-1节点部署：
一、安装配置jdk
[root@xingdian ~]# tar zxvf /usr/local/package/jdk-8u121-linux-x64.tar.gz -C /usr/local/
[root@xingdian ~]# mv /usr/local/jdk-8u121 /usr/local/java
[root@xingdian ~]# vim /etc/profile
JAVA_HOME=/usr/local/java
PATH= J A V A H O M E / b i n : JAVA_HOME/bin: PATH
export JAVA_HOME PATH
[root@xingdian ~]# source /etc/profilehtml

二、安装配置ES
(1)建立运行ES的普通用户
[root@xingdian ~]# useradd elsearch (useradd ela)
[root@xingdian ~]# echo “*****" | passwd --stdin “elsearch”
(2)安装配置ES
[root@xingdian ~]# tar zxvf /usr/local/package/elasticsearch-6.5.4.tar.gz -C /usr/local/
[root@xingdian ~]# vim /usr/local/elasticsearch-6.5.4/config/elasticsearch.yml
cluster.name: bjbpe01-elk
node.name: elk01
node.master: true
node.data: true
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: 0.0.0.0
http.port: 9200
#discovery.zen.ping.unicast.hosts: [“172.16.244.26”, “172.16.244.27”]
#discovery.zen.ping_timeout: 150s
#discovery.zen.fd.ping_retries: 10
#client.transport.ping_timeout: 60s
http.cors.enabled: true
http.cors.allow-origin: "”
(3)设置JVM堆大小
[root@xingdian ~]# sed -i ‘s/-Xms1g/-Xms4g/’ /usr/local/elasticsearch-6.5.4/config/jvm.options
[root@xingdian ~]# sed -i ‘s/-Xmx1g/-Xmx4g/’ /usr/local/elasticsearch-6.5.4/config/jvm.options
注意： 确保堆内存最小值（Xms）与最大值（Xmx）的大小相同，防止程序在运行时改变堆内存大小。 若是系统内存足够大，将堆内存最大和最小值设置为31G，由于有一个32G性能瓶颈问题。 堆内存大小不要超过系统内存的50%。前端

(4)建立ES数据及日志存储目录
[root@xingdian ~]# mkdir -p /data/elasticsearch/data (/data/elasticsearch)
[root@xingdian ~]# mkdir -p /data/elasticsearch/logs (/log/elasticsearch)
(5)修改安装目录及存储目录权限
[root@xingdian ~]# chown -R elsearch:elsearch /data/elasticsearch
[root@xingdian ~]# chown -R elsearch:elsearch /usr/local/elasticsearch-6.5.4java

三、系统优化
(1)修改/etc/security/limits.conf配置文件，将如下内容添加到配置文件中。(*表示全部用户)
soft nofile 65536
hard nofile 131072
soft nproc 2048
hard nproc 4096
(2)增长最大内存映射数
[root@xingdian ~]# echo “vm.max_map_count=262144” >> /etc/sysctl.conf
[root@xingdian ~]# sysctl -pnode

node-2节点的elasticsearch部署跟node-1相同linux

4.启动ES
su - elsearch -c “cd /usr/local/elasticsearch-6.5.4 && nohup bin/elasticsearch &”
二：安装配置head内容管理和监控插件（node-1和node-2一块儿部署）
1.安装node
[root@xingdian ~]# wget https://npm.taobao.org/mirrors/node/latest-v4.x/node-v4.4.7-linux-x64.tar.gz
[root@xingdian ~]# tar -zxf node-v4.4.7-linux-x64.tar.gz -C /usr/local
[root@xingdian ~]# mv /usr/local/node-v4.4.7-linux-x64 /usr/local/node
[root@xingdian ~]# vi /etc/profile
NODE_HOME=/usr/local/node
PATH= N O D E H O M E / b i n : NODE_HOME/bin: PATH
export NODE_HOME PATH
[root@xingdian ~]# source /etc/profile
[root@xingdian ~]# node --version #检查node版本号nginx

2.下载head插件
[root@xingdian ~]# wget https://github.com/mobz/elasticsearch-head/archive/master.zip
[root@xingdian ~]# unzip -d /usr/local master.zipgit

3.安装grunt
[root@xingdian ~]# cd /usr/local/elasticsearch-head-master
[root@xingdian ~]# npm install -g grunt-cli
[root@xingdian ~]# grunt --version #检查grunt版本号github

4.修改head源码
[root@xingdian ~]# vi /usr/local/elasticsearch-head-master/Gruntfile.js （95左右）
添加hostname，注意在上一行末尾添加逗号,hostname 不须要添加逗号
hostname: ‘*’

[root@xingdian ~]# vi /usr/local/elasticsearch-head-master/_site/app.js (4360左右)
本来是http://localhost:9200 ，若是head和ES不在同一个节点，注意修改为ES的IP地址

5.下载head必要的文件
[root@xingdian ~]# wget https://github.com/Medium/phantomjs/releases/download/v2.1.1/phantomjs-2.1.1-linux-x86_64.tar.bz2
[root@xingdian ~]# yum -y install bzip2
[root@xingdian ~]# tar -jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /tmp/

6.运行head
[root@xingdian ~]# cd /usr/local/elasticsearch-head-master/
[root@xingdian ~]# npm install
[root@xingdian ~]# nohup grunt server &

7.测试

8.模拟插入数据
{“user”:“xingdian”,“mesg”:“hello world”}
二：Kibana部署
1.安装
tar zxf kibana-6.5.4-linux-x86_64.tar.gz -C /usr/local/
mv /usr/local/kibana-6.5.4-linux-x86_64/ /usr/local/kibana
2.配置
vi /usr/local/kibana/config/kibana.yml
server.port: 5601
server.host: “172.16.244.28”
elasticsearch.url: “http://172.16.244.25:9200”
kibana.index: “.kibana”

注意：
server.port kibana服务端口，默认5601
server.host kibana主机IP地址，默认localhost
elasticsearch.url 用来作查询的ES节点的URL，默认http://localhost:9200
kibana.index kibana在Elasticsearch中使用索引来存储保存的searches, visualizations和dashboards，默认.kibana

3.启动
cd /usr/local/kibana
nohup ./bin/kibana &

三：Nginx安装反向代理
1.安装
yum -y install nginx httpd-tools
2.配置
user nginx;
worker_processes 4;
error_log /var/log/nginx/error.log;
pid /var/run/nginx.pid;
worker_rlimit_nofile 65535;

events {
worker_connections 65535;
use epoll;
}

http {
include mime.types;
default_type application/octet-stream;

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for"';

access_log  /var/log/nginx/access.log  main;
server_names_hash_bucket_size 128;
autoindex on;

sendfile        on;
tcp_nopush     on;
tcp_nodelay on;

keepalive_timeout  120;
fastcgi_connect_timeout 300;
fastcgi_send_timeout 300;
fastcgi_read_timeout 300;
fastcgi_buffer_size 64k;
fastcgi_buffers 4 64k;
fastcgi_busy_buffers_size 128k;
fastcgi_temp_file_write_size 128k;

#gzip模块设置
gzip on; #开启gzip压缩输出
gzip_min_length 1k;    #最小压缩文件大小
gzip_buffers 4 16k;    #压缩缓冲区
gzip_http_version 1.0;    #压缩版本（默认1.1，前端若是是squid2.5请使用1.0）
gzip_comp_level 2;    #压缩等级
gzip_types text/plain application/x-javascript text/css application/xml;    #压缩类型，默认就已经包含textml，因此下面就不用再写了，写上去也不会有问题，可是会有一个warn。
gzip_vary on;
#开启限制IP链接数的时候须要使用
#limit_zone crawler $binary_remote_addr 10m;
#tips:
#upstream bakend{#定义负载均衡设备的Ip及设备状态}{
#    ip_hash;
#    server 127.0.0.1:9090 down;
#    server 127.0.0.1:8080 weight=2;
#    server 127.0.0.1:6060;
#    server 127.0.0.1:7070 backup;
#}
#在须要使用负载均衡的server中增长 proxy_pass http://bakend/;
server {
    listen       80;
    server_name  172.16.244.28;

    #charset koi8-r;

   # access_log  /var/log/nginx/host.access.log  main;
    access_log off;

     location / {  
         auth_basic "Kibana";   #能够是string或off，任意string表示开启认证，off表示关闭认证。
         auth_basic_user_file /etc/nginx/passwd.db;   #指定存储用户名和密码的认证文件。
         proxy_pass http://172.16.244.28:5601;
         proxy_set_header Host $host:5601;  
         proxy_set_header X-Real-IP $remote_addr;  
         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  
         proxy_set_header Via "nginx";  
                 }
     location /status { 
         stub_status on; #开启网站监控状态 
         access_log /var/log/nginx/kibana_status.log; #监控日志 
         auth_basic "NginxStatus"; } 

     location /head/{
         auth_basic "head";
         auth_basic_user_file /etc/nginx/passwd.db;
         proxy_pass http://172.16.244.25:9100;
         proxy_set_header Host $host:9100;
         proxy_set_header X-Real-IP $remote_addr;
         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
         proxy_set_header Via "nginx";
                     }  

    # redirect server error pages to the static page /50x.html
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   html;
    }
}

}

(4).配置受权用户和密码
htpasswd -cm /etc/nginx/passwd.db username

(5).测试，浏览器访问

三：logstash部署(新机器)
1.安装jdk
[root@xingdian ~]# tar zxvf /usr/local/package/jdk-8u121-linux-x64.tar.gz -C /usr/local/
[root@xingdian ~]# mv /usr/local/jdk-8u121 /usr/local/java
[root@xingdian ~]# vim /etc/profile
JAVA_HOME=/usr/local/java
PATH= J A V A H O M E / b i n : JAVA_HOME/bin: PATH
export JAVA_HOME PATH
[root@xingdian ~]# source /etc/profile

2.安装logstash
[root@xingdian ~]# tar xf logstash-7.3.2.tar.gz -C /usr/local/
[root@xingdian ~]# mv logstash-7.3.2/ logstash

Kafka部署（全部节点都部署）
1.安装jdk
[root@xingdian ~]# tar zxvf /usr/local/package/jdk-8u121-linux-x64.tar.gz -C /usr/local/
[root@xingdian ~]# mv /usr/local/jdk-8u121 /usr/local/java
[root@xingdian ~]# vim /etc/profile
JAVA_HOME=/usr/local/java
PATH= J A V A H O M E / b i n : JAVA_HOME/bin: PATH
export JAVA_HOME PATH
[root@xingdian ~]# source /etc/profile

2.安装ZK
Kafka运行依赖ZK，Kafka官网提供的tar包中，已经包含了ZK，这里再也不额下载ZK程序。
tar zxvf /usr/local/package/kafka_2.11-2.1.0.tgz -C /usr/local/
3.配置
sed -i ‘s/[#]/#&/’ /usr/local/kafka_2.11-2.1.0/config/zookeeper.properties
vi /usr/local/kafka/config/zookeeper.properties
dataDir=/opt/data/zookeeper/data
dataLogDir=/opt/data/zookeeper/logs
clientPort=2181
tickTime=2000
initLimit=20
syncLimit=10
server.1=172.16.244.31:2888:3888 //kafka集群IP:Port
server.2=172.16.244.32:2888:3888
server.3=172.16.244.33:2888:3888
#建立data、log目录
mkdir -p /opt/data/zookeeper/{data,logs}
#建立myid文件
echo 1 > /opt/data/zookeeper/data/myid
注意：
dataDir ZK数据存放目录。
dataLogDir ZK日志存放目录。
clientPort 客户端链接ZK服务的端口。
tickTime ZK服务器之间或客户端与服务器之间维持心跳的时间间隔。
initLimit 容许follower(相对于Leaderer言的“客户端”)链接并同步到Leader的初始化链接时间，以tickTime为单位。当初始化链接时间超过该值，则表示链接失败。
syncLimit Leader与Follower之间发送消息时，请求和应答时间长度。若是follower在设置时间内不能与leader通讯，那么此follower将会被丢弃。
server.1=172.16.244.31:2888:3888 2888是follower与leader交换信息的端口，3888是当leader挂了时用来执行选举时服务器相互通讯的端口。

4.配置kafka
sed -i ‘s/[#]/#&/’ /usr/local/kafka/config/server.properties
vi /usr/local/kafka/config/server.properties
broker.id=1
listeners=PLAINTEXT://172.16.244.31:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/data/kafka/logs
num.partitions=6
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=300000
zookeeper.connect=172.16.244.31:2181,172.16.244.32:2181,172.16.244.33:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
#建立log目录 mkdir -p /opt/data/kafka/logs
注意：
broker.id 每一个server须要单独配置broker id，若是不配置系统会自动配置。
listeners 监听地址，格式PLAINTEXT://IP:端口。
num.network.threads 接收和发送网络信息的线程数。
num.io.threads 服务器用于处理请求的线程数，其中可能包括磁盘I/O。
socket.send.buffer.bytes 套接字服务器使用的发送缓冲区(SO_SNDBUF)
socket.receive.buffer.bytes 套接字服务器使用的接收缓冲区(SO_RCVBUF)
socket.request.max.bytes 套接字服务器将接受的请求的最大大小(防止OOM)
log.dirs 日志文件目录。
num.partitions partition数量。
num.recovery.threads.per.data.dir 在启动时恢复日志、关闭时刷盘日志每一个数据目录的线程的数量，默认1。
offsets.topic.replication.factor 偏移量话题的复制因子（设置更高保证可用），为了保证有效的复制，偏移话题的复制因子是可配置的，在偏移话题的第一次请求的时候可用的broker的数量至少为复制因子的大小，不然要么话题建立失败，要么复制因子取可用broker的数量和配置复制因子的最小值。
log.retention.hours 日志文件删除以前保留的时间（单位小时），默认168
log.segment.bytes 单个日志文件的大小，默认1073741824
log.retention.check.interval.ms 检查日志段以查看是否能够根据保留策略删除它们的时间间隔。
zookeeper.connect ZK主机地址，若是zookeeper是集群则以逗号隔开。
zookeeper.connection.timeout.ms 链接到Zookeeper的超时时间。

5.其余配置节点配置相同(myid,broker.id 不一样)

6.启动验证zk集群
三个节点依次执行：
cd /usr/local/kafka
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

7.验证
#echo conf | nc 127.0.0.1 2181
clientPort=2181
dataDir=/data/zookeeper/data/version-2
dataLogDir=/data/zookeeper/logs/version-2
tickTime=2000
maxClientCnxns=60
minSessionTimeout=4000
maxSessionTimeout=40000
serverId=1
initLimit=20
syncLimit=10
electionAlg=3
electionPort=3888
quorumPort=2888
peerType=0

#echo stat | nc 127.0.0.1 2181
Zookeeper version: 3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 00:39 GMT
Clients:
/172.17.0.4:350200

Latency min/avg/max: 0/0/0
Received: 4
Sent: 3
Connections: 1
Outstanding: 0
Zxid: 0x0
Mode: follower
Node count: 4

8.查看端口
lsof -i:2181
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 2442 root 92u IPv4 1031572 0t0 TCP *:eforward (LISTEN)

9.启动、验证Kafka(三个节点依次启动)
cd /usr/local/kafka_2.11-2.1.0/
nohup bin/kafka-server-start.sh config/server.properties &
验证：
建立topic
bin/kafka-topics.sh --create --zookeeper 172.17.0.4:2181 --replication-factor 1 --partitions 1 --topic testtopic
Created topic “testtopic”.
查询topic
bin/kafka-topics.sh --zookeeper 172.17.0.4:2181 --list
testtopic
模拟消息生产和消费 发送消息到172.17.0.4
bin/kafka-console-producer.sh --broker-list 172.17.0.4:9092 --topic testtopic

Hello World! 从172.16.244.32接受消息 bin/kafka-console-consumer.sh --bootstrap-server 172.17.0.4:9092 --topic testtopic --from-beginning Hello World! 查看主题的信息： ./bin/kafka-topics.sh --describe --zookeeper 172.17.0.4:2181 --topic testtopic

联系我们 沪ICP备13005482号-10