centos7下kafka集群安装部署

应用摘要: html

Apache kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的apache

分布式发布订阅消息系统,是消息中间件的一种,用于构建实时数据管道和流应用程序,很火!vim

          Kafka官网:http://kafka.apache.org/分布式

          学习推荐  :http://orchome.com/kafka/index
学习

          官网下载  :http://kafka.apache.org/downloads测试

 

安装环境spa

Kafka集群环境搭建,须要准备好一个zookeeper环境(集群),zk集群部署:>> 点击这里 <<.net

说明:kafka名中的2.12是Scala语言版本,后面的0.11.0.2是kafka版本,端口默认为9092。命令行


安装步骤
 
  1.下载kafka并解压
    [root@server-1 ~]# tar zxvf kafka_2.12-0.11.0.2.tgz -C /opt/ 
  
   

 2. 编辑配置文件3d

  进入到config目录,编辑配置文件:server.properties

   [root@server-1 config]# vim server.properties 

  

  

  

  

  其余配置能够保持默认,保持,退出;

  参数说明能够参考http://orchome.com/12 或者 http://blog.csdn.net/lizhitao/article/details/25667831

  一样的操做在server-2和server-3上修改一下broker.id和host.name,再也不赘述。

 

 3. 启动Kafka

  切换到bin目录中,查看相关脚本:

  

  

   [root@server-1 bin]# ./kafka-server-start.sh -daemon ../config/server.properties     // -daemon:之后台方式启动

  查看9092端口状态,确保服务已经启动;

  一样的,启动server-2和server-3:

   [root@server-2 bin]# ./kafka-server-start.sh -daemon ../config/server.properties 

   [root@server-3 bin]# ./kafka-server-start.sh -daemon ../config/server.properties 

   至此,kafka安装启动完成。

  关闭命令: [root@server-1 bin]# ./kafka-server-stop.sh     //不带任何参数便可

 

 4. 检查测试

    在上一篇部署zookeeper集群的时候提到链接kafka使用的时候,里面除了zookeeper以外还有其余内容,来查看一下。

  登陆zookeeper(切换到zk的bin目录下),先链接zk:

   [root@server-1 bin]# ./zkCli.sh -server 192.168.1.21:2181 

 [zk: 192.168.1.21:2181(CONNECTED) 2] ls /          

 cluster                    controller                 controller_epoch           brokers
 zookeeper                  admin                      isr_change_notification    consumers
 latest_producer_id_block   config
 [zk: 192.168.1.21:2181(CONNECTED) 2] ls /brokers
 [ids, topics, seqid]
 [zk: 192.168.1.21:2181(CONNECTED) 3] ls /brokers/ids
 [1, 2, 3]
 [zk: 192.168.1.21:2181(CONNECTED) 4] 

  说明:zookeeper集群建好以后,经过“ls /”出来的只有zookeeper,链接kafka使用后,/ 下面多了很多东西,其中经过查看/brokers/ids能够

     发现已经检查到了已经安装的三台kafka的broker.id[1,2,3]。

 

 具体Kafka常见操做见下一篇kafka命令行常见使用 

 

结束.