Linux安装Kafka

本文介绍Linux安装Kafka。

1.Kafka简介

Kafka也是开源与Apache开源基金会的项目，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统。

在百度百科是这样介绍的：

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它能够处理消费者规模的网站中的全部动做流数据。 这种动做（网页浏览，搜索和其余用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据一般是因为吞吐量的要求而经过处理日志和日志聚合来解决。 对于像Hadoop的同样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是经过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了经过集群来提供实时的消息。

Kafka官网地址为：kafka.apache.org/，感兴趣的能够多多查看官网文档。

2.准备工做

2.1 安装环境

本文所安装的Kafka为2.10版本，Linux系统版本为CentOS 7.2，使用Zookeeper是Kafka自带的，安装目录为/usr/local/software/。

2.2 准备工具

1.Java

Kafka是依赖Java环境运行，因此须要在Linux系统内安装Java环境。

2.安装Kafka

步骤大体分为以下几步：

2.1 下载Kafka

wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz
复制代码

2.2 解压Kafka

tar -zxvf kafka_2.10-0.10.2.1.tgz 
复制代码

2.3 进入配置文件目录

cd /usr/local/software/kafka_2.10-0.10.2.1/config
复制代码

2.4 修改配置文件server.properties，添加下面内容：

broker.id=0
port=9092 #端口号
host.name=172.30.0.9 #服务器IP地址，修改成本身的服务器IP
log.dirs=/usr/local/logs/kafka #日志存放路径，上面建立的目录
zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181
复制代码

2.5 编写启动脚本

vi kafkastart.sh
复制代码

#启动zookeeper
/usr/local/software/kafka_2.10-0.10.2.1/bin/zookeeper-server-start.sh /usr/local/software/kafka_2.10-0.10.2.1/config/zookeeper.properties &
#等3秒后执行
sleep 3 
#启动kafka
/usr/local/software/kafka_2.10-0.10.2.1/bin/kafka-server-start.sh /usr/local/software/kafka_2.10-0.10.2.1/config/server.properties &
复制代码

2.6 编写关闭脚本

vi kafkastop.sh
复制代码

#关闭zookeeper
/usr/local/software/kafka_2.10-0.10.2.1/bin/zookeeper-server-stop.sh /usr/local/software/kafka_2.10-0.10.2.1/config/zookeeper.properties &
#等3秒后执行
sleep 3 
#关闭kafka
/usr/local/software/kafka_2.10-0.10.2.1/bin/kafka-server-stop.sh /usr/local/software/kafka_2.10-0.10.2.1/config/server.properties &
复制代码

2.7 启动脚本，关闭脚本赋予权限

chmod 777 kafkastart.sh
复制代码

chmod 777 kafkastop.sh
复制代码

3.安装问题

安装Kafka过程当中没有遇到太大的问题，一路输入就经过了。

4.可视化管理页面安装

kafka官网地址：github.com/linkedin/ka…，运行比较简单，只是一个可执行jar（KafkaOffsetMonitor-assembly-0.2.1.jar）。

4.1 编写启动脚本

java -Xms128M -Xmx128M -Xss1024K -XX:PermSize=128m -XX:MaxPermSize=128m -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk localhost:2181 --port 8787 --refresh 10.seconds --retain 7.days 1>/usr/local/software/kafka-monitor/stdout.log 2>/usr/local/software/kafka-monitor/stderr.log &
复制代码

5.总结

以上安装都是通过本人亲测可用的，安装过程仍是比较简单。