Kafka集群配置，以及集群管理工具Kafka Manager的安装

咱们使用以下三台机器搭建Kafka集群,此文档在咱们已经安装了zookeeper集群的前提下有效，文章中zookeeper所有使用zk缩写表示

192.168.1.96
192.168.1.45
192.168.1.34

下面操做在不说明的状况下都是在96这台机器上作的操做

• 下载Kafka

wget http://apache.fayea.com/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

• 解压Kafka

tar xzvf kafka_2.11-0.9.0.1.tgz

• 修改配置文件 config/server.properties

broker.id=0
advertised.host.name=192.168.1.96
log.dirs=/data/store/log/kafka-logs
zookeeper.connect=192.168.1.96:2181,192.168.1.45:2181,192.168.1.34:2181/kafka
一、 broker.id 每台集群机器惟一，从0开始递增，待咱们把kafka同步到其余机器上以后须要修改每台机器的这个ID
二、 以下图所示，它的意思是咱们能够在zookeeper.connect最后指定一个chroot地址，固然不是必须的，默认使用的是根目录，修改这个等于指定了kafka集群须要存储在zk的数据目录，可是咱们须要在集群启动前在zk中手动创建这样一个目录 

三、 advertised.host.name 配置成当前服务器的ip，若是没有配置，默认值是java.net.InetAddress.getCanonicalHostName()当时我没有修改这个值，在本地测试的时候出现了链接超时问题，并且在kafka manager里面查看broker的ip都是localhost，修改以后则为具体的ip地址，估计是和getCanonicalHostName()有关，这个问题留待之后考证啦.. 
四、 如何建立这个chroot路径呢?使用以下命令链接到任意一台zk服务器

bin/zkCli.sh
create /kafka ''

• 同步kafka到其余机器上,而且修改config/server.properties里面的broker.id,别忘记了

scp -r kafka_2.11-0.9.0.1 192.168.1.34:/data/strawbird/kafka_2.11-0.9.0.1
scp -r kafka_2.11-0.9.0.1 192.168.1.45:/data/strawbird/kafka_2.11-0.9.0.1

• 分别启动三台机器的kafka

bin/kafka-server-start.sh config/server.properties &

安装Kafka Manager

git clone https://github.com/yahoo/kafka-manager
cd kafka-manager
//下面这步操做真的是要等好久，耐心等待吧，不瞒您说，我这这里一共花了2752s，因此....呵呵哒
sbt clean dist
cd target/universal/ //在universal目录下咱们能够看到以下两个文件

 

//解压上图中的zip文件
unzip kafka-manager-1.3.0.8.zip
cd kafka-manager-1.3.0.8
//修改conf/application.properties中科院为kafka-manager.zkhosts的值

//启动kafka manager
bin/kafka-manager
//启动以后、默认启动的端口是9000，因此咱们在浏览器访问这个地址 http://192.168.1.96:9000,而后本身添加一个集群 大体能够看到以下的信息

参考文档

• http://kafka.apache.org/documentation.html

本文基于署名-非商业性使用-相同方式共享 4.0许可协议发布，欢迎转载、使用、从新发布，但务必保留文章署名稻草鸟人(包含此订阅号二维码)