0022-如何永久删除Kafka的Topic

1.问题描述

使用kafka-topics --delete命令删除topic时并无真正的删除，而是把topic标记为：“marked for deletion”，致使从新建立相同名称的Topic时报错“already exists”。

2.问题复现

1.登陆Kafka集群所在的服务器，建立一个test的topic

[root@cdh1 ~]# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test

2.查看新建立的topic

[root@cdh1 ~]# kafka-topics --list --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181

3.经过以下命令删除新建的topic

[root@cdh1 ~]# kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

此处显示“Topic test is marked for deletion”

4.尝试从新建立一个test的Topic

[root@cdh1 ~]# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test

提示该Topic已存在，说明在第3步操做的删除并无真正的将Topic删除。

3.问题缘由

默认状况下Kafka是禁用了删除Topic的操做，因此在执行Topic删除的时候只是将删除的Topic标记为“marked for deletion”状态。能够经过修改Kafka服务的配置参数启用。

4.解决方法

4.1方法1

在kafka服务配置delete.topic.enable=false的状况下，若是须要永久删除topic则须要作以下操做：

• 经过kafka命令删除相应的topic
• 在zookeeper中删除相应的topic
• 在topic所在的broker节点上删除topic的log数据

操做以下：

1.查看topic的描述信息，命令以下

kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

上图标注部分为topic对应的数据存放节点

2.经过kafka命令删除，命令以下：

kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

3.经过zookeeper客户端删除topic，命令以下

zookeeper-client -server ip-172-31-1-175.ap-southeast-1.compute.internal:2181

ls /brokers/topics

rmr /brokers/topics/test

注：标红部分为topic的名称

4.登陆到第1步中列出的对应节点的topic的log数据目录，此处咱们Kafka的log.dirs目录配置为/var/local/kakfa，执行命令

[ec2-user@ip-172-31-9-186 data]$ sudo rm -rf test-0/

5.验证是否生效

建立一个名称为“test”的Topic，能够正常建立

注意：此处将topic为test的日志目录（/var/local/kafka/test-0）删除后，新建立的topic为test的日志目录不存在，重启Kafka服务后正常，目录能正常显示。

4.2方法2

在Kafka服务已配置delete.topic.enable=true的状况下，永久删除topic须要作以下操做：

• 使用kafka命令删除topic

操做以下：

1. 删除前数据查看：

kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

各个数据节点的信息：

Zookeeper信息：

2.经过kafka命令删除须要删除的topic，命令以下

kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

3.查看Zookeeper客户端topic信息

[zk: ip-172-31-1-175.ap-southeast-1.compute.internal:2181(CONNECTED) 9] ls /brokers/topics

4.查看brober节点上topic的日志数据

5.删除后成功后，验证是否能建立名称为test的Topic

注意：

若是Kafka服务配置了delete.topic.enable=true，直接经过命令行删除，未能删除Topic则能够经过zookeeper-client来进行删除。

若是Kafka服务未配置delete.topic.enable=true，直接经过delete命令删除topic，删除时只会将topic标记为“marked for deletion”，而后经过zookeeper-client进行删除是不会删除topic的data.log数据目录的，须要将相应的broker服务器上的data.log目录下相应的topic目录删除，data.log目录获取，能够经过CM界面查看：

建议：Kafka服务开启delete.topic.enable=true，开启方式以下：

开启后须要重启Kafka服务。

醉酒鞭名马，少年多浮夸！ 岭南浣溪沙，呕吐酒肆下！挚友不愿放，数据玩的花！

欢迎关注Hadoop实操，第一时间，分享更多Hadoop干货，喜欢请关注分享。