应用摘要: html
Apache kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的apache
分布式发布订阅消息系统,是消息中间件的一种,用于构建实时数据管道和流应用程序,很火!vim
Kafka官网:http://kafka.apache.org/分布式
学习推荐 :http://orchome.com/kafka/index
学习
官网下载 :http://kafka.apache.org/downloads测试
安装环境:spa
Kafka集群环境搭建,须要准备好一个zookeeper环境(集群),zk集群部署:>> 点击这里 <<.net
说明:kafka名中的2.12是Scala语言版本,后面的0.11.0.2是kafka版本,端口默认为9092。命令行
2. 编辑配置文件3d
进入到config目录,编辑配置文件:server.properties
[root@server-1 config]# vim server.properties
其余配置能够保持默认,保持,退出;
参数说明能够参考:http://orchome.com/12 或者 http://blog.csdn.net/lizhitao/article/details/25667831
一样的操做在server-2和server-3上修改一下broker.id和host.name,再也不赘述。
3. 启动Kafka
切换到bin目录中,查看相关脚本:
[root@server-1 bin]# ./kafka-server-start.sh -daemon ../config/server.properties // -daemon:之后台方式启动
查看9092端口状态,确保服务已经启动;
一样的,启动server-2和server-3:
[root@server-2 bin]# ./kafka-server-start.sh -daemon ../config/server.properties
[root@server-3 bin]# ./kafka-server-start.sh -daemon ../config/server.properties
至此,kafka安装启动完成。
关闭命令: [root@server-1 bin]# ./kafka-server-stop.sh //不带任何参数便可
4. 检查测试
在上一篇部署zookeeper集群的时候提到链接kafka使用的时候,里面除了zookeeper以外还有其余内容,来查看一下。
登陆zookeeper(切换到zk的bin目录下),先链接zk:
[root@server-1 bin]# ./zkCli.sh -server 192.168.1.21:2181
[zk: 192.168.1.21:2181(CONNECTED) 2] ls / cluster controller controller_epoch brokers zookeeper admin isr_change_notification consumers latest_producer_id_block config [zk: 192.168.1.21:2181(CONNECTED) 2] ls /brokers [ids, topics, seqid] [zk: 192.168.1.21:2181(CONNECTED) 3] ls /brokers/ids [1, 2, 3] [zk: 192.168.1.21:2181(CONNECTED) 4]
说明:zookeeper集群建好以后,经过“ls /”出来的只有zookeeper,链接kafka使用后,/ 下面多了很多东西,其中经过查看/brokers/ids能够
发现已经检查到了已经安装的三台kafka的broker.id[1,2,3]。
具体Kafka常见操做见下一篇:kafka命令行常见使用
结束.