CentOS7安装CDH 第九章：CDH中安装Kafka

相关文章连接

CentOS7安装CDH 第一章：CentOS7系统安装

CentOS7安装CDH 第二章：CentOS7各个软件安装和启动

CentOS7安装CDH 第三章：CDH中的问题和解决方法

CentOS7安装CDH 第四章：CDH的版本选择和安装方式

CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0

CentOS7安装CDH 第六章：CDH的管理-CDH5.12

CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置

CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操做

CentOS7安装CDH 第九章：CDH中安装Kafka

CentOS7安装CDH 第十章：CDH中安装Spark2

CentOS7安装CDH 第十一章：离线升级CDH版本

CentOS7安装CDH 第十二章：YARN的资源调优

CentOS7安装CDH 第十三章：CDH资源池配置

CentOS7安装CDH 第十四章：CDH的优化

1. CDH官网Kafka的安装教程网址

https://www.cloudera.com/documentation/kafka/latest/topics/kafka_installing.html#concept_m2t_d45_4r

2. 下载对应的Kafka版本

一、查看CDH和Kafka的版本对应列表：

查看网址：https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka

二、由于安装的CDH版本为5.10或5.12，故选择的Kafka版本为2.2.x和0.10.2，此时去网站找到对应的Kafka版本：

网址：https://www.cloudera.com/documentation/kafka/latest/topics/kafka_packaging.html#concept_fzg_phl_br

三、点击对应的下载地址，下载该Kafka的parcel包（需更改sha1的后缀名）：

3. 安装Kafka服务

一、将Kafka的parcel包（3个文件）上传到/var/www/html/kafka_parcel目录下，需配置好https服务，请参考上述CDH安装时的方法配置，在浏览器上能访问到以下场景便可：

二、点击CDH主页面中的主机下面的Parcel按钮：

三、点击Parcel界面的配置按钮，配置Kafka的地址，该地址默认是官网地址，但在CDH的离线安装时已将全部的在线地址删除，因此在这加上Kafka的Parcel包的离线地址便可：

四、在Parcel界面，点击Kafka的下载按钮：

五、依次执行Kafka的分配和激活：

4. 将Kafka服务添加到CDH中

一、在CDH的主界面点击添加服务按钮，并选择Kafka服务：

二、给Kafka分配节点（Kafka后面2个服务通常状况下不选）：

三、Kafka的配置文件进行配置：

a)  配置Kafka的文件存放目录，由于Kafka是依赖Zookeeper的，因此Kafka的文件也是存放在Zookeeper的目录中，若是要卸载Kafka时，须要将这些Kafka的文件也删除，因此能够把Kafka的文件存放在一个目录中：

Kafka的文件存放目录：

进入Zookeeper的文件管理界面（命令行）：

b) 由于Kafka是一个消息中间键，有将生产者生产的信息进行缓存的操做，因此在配置Kafka的数据存储目录时须要注意，将数据存放到一个比较大的磁盘中，该数据存放的目录以下配置所示：

c) 在卸载重装Kafka时，须要将Zookeeper目录下的Kafka文件，以及Kafka数据存放的目录都清空，请注意是每一个节点都要清空，不然不能重装。

四、启动Kafka服务，会发现Kafka服务不能成功启动，报错以下：

此时为主机的内存不足，返回Kafka配置文件界面，修改memory中的Java Heap Size of Broker值为512M（若是机器内存充足，能够再大一些），以下：

修改以后去CDH的主界面重启Kafka，启动成功，以下所示：