kafka1：Kafka集群部署步骤

参考：

kafka 集群--3个broker 3个zookeeper建立实战

细细品味Kafka_Kafka简介及安装_V1.3   http://www.docin.com/p-1291437890.html

 

一. 准备工做：

    1. 准备3台机器，IP地址分别为：192.168.3.230（233，234）

    2. 下载kafka稳定版本，个人版本为：Scala 2.11  - kafka_2.11-0.9.0.0.tgz

        http://kafka.apache.org/downloads.html

    3. 分别解压放入到想安装的目录下，个人目录为:/home/rasa 解压命令为：

        tar -xzf *.tgz

 

2、搭建zookeeper集群

    1.进入解压后的目录/home/rasa/kafka_2.11-0.9.0.0

    2. 进入config目录下，修改zookeeper.properties文件（全部机器相同）

        tickTime = 2000

        dataDir = /data/zookeeper/

        clientPort = 2181

        initLimit = 5

        syncLimit = 2

        server.1 = 192.168.3.230:2888:3888

        server.2 = 192.168.3.233:2888:3888

        server.3 = 192.168.3.234:2888:3888

 

    3.在dataDir目录/data/zookeeper/下写一个myid文件，命令以下：

        echo 1 >myid

        注意：这个id是zookeeper的主机标示，每一个主机id不一样第二台是2 第三台是3。

 

    4.逐次启动3台机器的zookeeper 构成一个集群：

        > bin/zookeeper-server-start.sh config/zookeeper.properties &

        因为ZooKeeper集群启动的时候，每一个结点都试图去链接集群中的其它结点，先启动的确定连不上后面还没启动的，因此打印出来的部分的异常是能够忽略的。集群在选出一个Leader后，最后稳定了。其余结点可能也出现相似问题，属于正常。

 

3、搭建kafka集群

    1.进入config目录，修改server.properties（逐个机器修改）

        broker.id = 1 （其余机器为 2/3 ）

        port = 9092

        zookeeper.connect = 192.168.3.230:2181,192.168.3.233:2181,192.168.3.234:2181

        log.dirs = /home/rasa/kafka-logs

        host.name = 192.168.3.230

        advertised.host.name = 192.168.3.230

    2.启动每台服务器的kafka：

        > bin/kafka-server-start.sh config/server.properties &

 

4、测试集群

    1.建立一个topic

        > bin/kafka-topics.sh --create --zookeeper 192.168.3.230:2181 --replication-factor 3 --partitions 1

            --topic test-topic

 

    2.查看建立的topic

        > bin/kafka-topics.sh --describe --zookeeper 192.168.3.230:2181 --topic test-topic

            Topic:test-replicated-topic    PartitionCount:1    ReplicationFactor:3    Configs:

            Topic: test-replicated-topic    Partition: 0    Leader: 1    Replicas: 1,2,0    Isr: 1,2,0

 

     3.查看topic列表

          > bin/kafka-topics.sh --list --zookeeper 192.168.3.230 :2181 

　　　　test

　　　　test-topic

 　　 查看列表及具体信息

          > bin/kafka-topics.sh --zookeeper localhost --describe

 

    4.查看集群状况：

        >bin/kafka-topics.sh --describe --zookeeper 192.168.3.233:2181 --topic test-topic

        >bin/kafka-topics.sh --describe --zookeeper 192.168.3.234:2181 --topic test-topic

        发现都能看到test-topic。

 

     5.生产消息

          > bin/kafka-console-producer.sh --broker-list 192.168.3.234:9092 -topic test-topic

     6.消费消息

          > bin/kafka-console-consumer.sh --zookeeper 192.168.3.234:2181 --from-beginning --topic test-topic