CentOS6安装各类大数据软件 第五章：Kafka集群的配置

相关文章连接

CentOS6安装各类大数据软件 第一章：各个软件版本介绍

CentOS6安装各类大数据软件 第二章：Linux各个软件启动命令

CentOS6安装各类大数据软件 第三章：Linux基础软件的安装

CentOS6安装各类大数据软件 第四章：Hadoop分布式集群配置

CentOS6安装各类大数据软件 第五章：Kafka集群的配置

CentOS6安装各类大数据软件 第六章：HBase分布式集群的配置

CentOS6安装各类大数据软件 第七章：Flume安装与配置

CentOS6安装各类大数据软件 第八章：Hive安装和配置

CentOS6安装各类大数据软件 第九章：Hue大数据可视化工具安装和配置

CentOS6安装各类大数据软件 第十章：Spark集群安装和部署

1. Kafka集群的安装准备

1.1. 选择安装Kafka的版本

因为kafka是scala语言编写的，基于scala的多个版本，kafka发布了多个版本。
其中2.11是推荐版本。

1.2. 下载并解压安装包

解压文件，删除以前的的安装记录，并重命名

tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/
cd /export/servers/
rm -rf /export/servers/kafka
rm -rf /export/logs/kafka/
rm -rf /export/data/kafka
mv kafka_2.11-1.0.0 kafka

2. 查看目录及修改配置文件

2.1. 查看目录

2.2. 修改配置文件

进入配置目录，查看server.properties文件
能够经过cat server.properties |grep -v "#"目录过滤掉带有#的注释行数
修改三个地方
1）Borker.id
2）数据存放的目录，注意目录若是不存在，须要新建下。
3）zookeeper的地址信息

# broker.id 标识了kafka集群中一个惟一broker。
broker.id=0

# 存放生产者生产的数据 数据通常以topic的方式存放
# 建立一个数据存放目录 /export/data/kafka  ---  mkdir -p /export/data/kafka
log.dirs=/export/data/kafka

# 配置zk的信息
zookeeper.connect=zk01:2181,zk02:2181,zk03:2181

3. 分发配置文件及修改brokerid

将修改好的配置文件，分发到其余服务器上。
注意：若是在其余服务器上原先安装过kafka，需先删除以往的安装记录。

rm -rf /export/servers/kafka
rm -rf /export/logs/kafka/
rm -rf /export/data/kafka

分发安装包：

scp -r /export/servers/kafka/ node02:/export/servers/
scp -r /export/servers/kafka/ node03:/export/servers/

修改其余服务器上的broker.id

4. 启动Kafka集群

cd /export/servers/kafka/bin
./kafka-server-start.sh /export/servers/kafka/config/server.properties

5. 测试kafka集群

5.1. 建立一个topic

kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 1 --partitions 1 --topic my-kafka-topic

#执行结果：
Created topic "my-kafka-topic".

参数说明：

•  zookeeper：参数是必传参数，用于配置 Kafka 集群与 ZooKeeper 链接地址。至少写一个。
•  partitions：参数用于设置主题分区数，该配置为必传参数。
•  replication-factor：参数用来设置主题副本数 ，该配置也是必传参数。
•  topic：指定topic的名称。

5.2. 查看该kafka集群中的topic

kafka-topics.sh --list --zookeeper node01.ouyang.com:2181

__consumer_offsets
my-kafka-topic

5.3. 建立一个生产者

bin/kafka-console-producer.sh --broker-list node01.ouyang.com:9092,node02.ouyang.com:9092,node02.ouyang.com:9092 --topic test

5.4. 建立一个消费者

bin/kafka-console-consumer.sh --zookeeper node01.ouyang.com:2181,node02.ouyang.com:2181,node03.ouyang.com:2181 --topic test --from-beginning（老版本）
bin/kafka-console-consumer.sh --bootstrap-server node01.ouyang.com:9092,node02.ouyang.com:9092,node03.ouyang.com:9092 --topic test --from-beginning（新版本）

6. 查看Kafka集群（需借助外部工具kafka-manager）

Kafka Manager 由 yahoo 公司开发，该工具能够方便查看集群 主题分布状况，同时支持对 多个集群的管理、分区平衡以及建立主题等操做。
源码托管于github：https://github.com/yahoo/kafka-manager

6.1. 上传Kafka-manager安装包而且解压

tar -xvf kafka-manager-1.3.3.17.tar.gz -C /export/servers/
cd /export/servers/kafka-manager-1.3.3.17/conf

6.2. 修改配置文件

/kafka-manager/conf下的application.conf文件
#在配置文件中新增以下配置，http访问服务的端口
http.port=19000
#修改为本身的zk机器地址和端口
kafka-manager.zkhost1s="node01:2181"
#保存退出

6.3. 启动服务

cd /export/servers/kafka-manager-1.3.3.17/bin
./kafka-manager -Dconfig.file=../conf/application.conf

6.4. 制做一键启动脚本

步骤一：配置该文件夹的环境变量和一键启动文件的环境变量
export KAFKA_MANAGE_HOME= /export/servers/kafka-manager
export PATH=${KAFKA_MANAGE_HOME}/bin:$PATH
export PATH=${ZK_ONEKEY}/kafka-manager:$PATH
步骤二：编写一键启动脚本
vim startkafkamanager.sh
nohup kafka-manager -Dconfig.file=${KAFKA_MANAGE_HOME}/conf/application.conf >/dev/null 2>&1 &
chmod +x start-kafka-manager.sh
步骤三：从新加载环境变量，并一键启动
source /etc/profile
startkafkamanager.sh
步骤四：检查是否启动成功
打开浏览器，输入地址：http://node01:19000/，便可看到kafka-manage管理界面。

6.5. kafka-manager的使用

6.5.1. 添加Cluster

进入管理界面，是没有显示Cluster信息的，须要添加后才能操做。

　　　　1. 添加 Cluster：

　　　　　　

　　　　2. 输入Cluster Name、ZooKeeper信息、以及Kafka的版本信息（这里最高只能选择1.0.0）。

　　　　　　

　　　　3. 点击Save按钮保存。

　　　　　　

6.5.2. 在kafka-manager界面查看各主键的信息

　　　　1. 查看kafka的信息

　　　　　　

　　　　2. 查看Broker信息

　　　　　　

　　　　3. 查看Topic列表

　　　　　　

　　　　4. 查看单个topic信息以及操做

　　　　　　

　　　　5. 优化副本选举

　　　　　　

　　　　6. 查看消费者信息