zookeeper kafka集群安装配置

转至元数据结尾

zookeeper kafka集群安装配置

转至元数据起始

节点信息

节点主机	节点应用	节点IP
kafka01	zookeeper kafka	1.1.1.23
kafka02	zookeeper kafka	1.1.1.24
kafka03	zookeeper kafka	1.1.1.27

下载JDK

若是没有下载Java，请经过访问如下连接并下载最新版原本下载最新版本的JDK。http://www.oracle.com/technetwork/java/javase/downloads/index.html

在全部节点上安装JDK

#rpm -ivh jdk-8u74-linux-x64.rpm

检查JDK版本

ZooKeeper框架安装

在计算机上安装ZooKeeper框架，请访问如下连接并下载最新版本的ZooKeeper。http://zookeeper.apache.org/releases.html

在全部节点上使用如下命令提取tar文件

#tar -zxvf zookeeper-3.4.13.tar.gz -C /usr/local/ #cd /usr/local/zookeeper-3.4.13/conf/ #cp zoo_sample.cfg zoo.cfg

编译配置文件并保存退出

#vim zoo.cfg tickTime=2000 initLimit=10 syncLimit=5 dataDir=/data/zookeeper/datadir dataLogDir=/data/zookeeper/datalogdir clientPort=2181 maxClientCnxns=300 autopurge.snapRetainCount=3 autopurge.purgeInterval=1 server.1=kafka01:2888:3888 server.2=kafka02:2888:3888 server.3=kafka03:2888:3888

建立zk所须要的目录路径

#mkdir -pv /data/zookeeper/datadir #mkdir -pv /data/zookeeper/datalogdir

建立zk集群所须要的编号文件,根据zoo.cfg配置文件中server.1这个编号分别在不一样服务器上建立

[root@kafka01 ~]#vim /data/zookeeper/datadir/myid 1

在kafka02服务器上编译myid文件

[root@kafka02 ~]#vim /data/zookeeper/datadir/myid 2

在kafka03服务器上编译myid文件

[root@kafka03 ~]#vim /data/zookeeper/datadir/myid 3

启动ZooKeeper服务器

#cd /usr/local/zookeeper-3.4.13 #bin/zkServer.sh start

执行此命令后，您将获得以下所示的响应 

中止Zookeeper服务器

链接服务器并执行全部操做后，能够使用如下命令中止zookeeper服务器 

#cd /usr/local/zookeeper-3.4.13 #bin/zkServer.sh stop

Apache Kafka安装

要在您的机器上安装Kafka，请点击如下连接 http://mirrors.hust.edu.cn/apache/kafka/2.1.1/

在全部节点上使用如下命令提取tar文件

#tar -zxvf kafka_2.11-2.1.1.tgz -C /usr/local/ #cd /usr/local/kafka_2.11-2.1.1/config #cp server.properties{,.bak}

建立kafka所须要的目录路径

#mkdir -pv /data/kafka/kafka-logs

编译配置文件并保存退出

#vim server.properties broker.id=1 (每台服务器根据对应的编号进行修改) listeners=PLAINTEXT://1.1.1.23:9092（每台修改主机自带IP ） num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 log.dirs=/data/kafka/kafka-logs num.partitions=3 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 log.retention.hours=48 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 zookeeper.connect=kafka01:2181,kafka02:2181,kafka03:2181 zookeeper.connection.timeout.ms=6000 group.initial.rebalance.delay.ms=3000

启动服务器

经过给出如下命令来启动服务器 

#cd /usr/local/kafka_2.11-2.1.1/ #bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &

中止服务器

能够使用如下命令中止服务器

#cd /usr/local/kafka_2.11-2.1.1/ #bin/kafka-server-stop.sh config/server.properties