分享

kafka删除节点怎么删除啊

mjjian0 发表于 2015-7-7 16:09:15 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 8 53353
本帖最后由 mjjian0 于 2015-7-7 16:17 编辑

用了这么长时间的kafka了,有些问题今天还是问问吧。
kafka创建节点我知道,
删除节点也有个命令可以删除:
kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic topicname --zookeeper dn200:2181,dn201:2181,dn202:2181

但是删除后,在创建相同名字的topic,然后消费者仍然可以消费到删除之前topic的数据。
知道要把相应kafka-log目录下删除相应topic目录才行。更奇怪的是要重启才能彻底把删除之前的topic里内容彻底清理。如果不清理既是手动删除目录,重新创建topic也是能消费到之前数据的。
有没有什么比较方便的方法啊?大家用kafka都是这样操作吗?

已有(8)人评论

跳转到指定楼层
想ai抽 发表于 2015-7-7 16:44:38
1. 删除logs下的相关记录;
2. 到zookeeper下的brokers/topics删除相关节点。

--------------不好用!!

先逻辑删除(./bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic dnsTopic --zookeeper 10.0.1.44:2181,10.0.1.45:2181,10.0.1.46:2181),后物理删除(删除log文件)。


--------------如果是删除这个topic的数据的话,可行的方法:
1. 到zookeeper删除这个topic相关的consumerGroup
2. 删除这个topic的log文件夹下的所有文件【index以及log文件,不要删除目录即可】
回复

使用道具 举报

mjjian0 发表于 2015-7-7 16:46:42
想ai抽 发表于 2015-7-7 16:44
1. 删除logs下的相关记录;
2. 到zookeeper下的brokers/topics删除相关节点。

还是很麻烦的,开来大家也都是这样搞的
回复

使用道具 举报

想ai抽 发表于 2015-7-7 16:48:24
mjjian0 发表于 2015-7-7 16:46
还是很麻烦的,开来大家也都是这样搞的

你说的总是消费到之前数据是怎么个意思
回复

使用道具 举报

mjjian0 发表于 2015-7-7 17:16:58
想ai抽 发表于 2015-7-7 16:48
你说的总是消费到之前数据是怎么个意思

比如说
我创建topic :test
然后生产数据:
12
23
324
然后逻辑删除test,物理删除目录。
再然后在创建topic:test
这时候再消费test仍然可以消费到
12
23
324
回复

使用道具 举报

想ai抽 发表于 2015-7-8 18:08:28
mjjian0 发表于 2015-7-7 17:16
比如说
我创建topic :test
然后生产数据:

能具体点儿么?

比如说逻辑删除和物理删除后有没有重启集群,consumer有没有重启等等~    描述问题起码要让别人能清晰重现思路
回复

使用道具 举报

mjjian0 发表于 2015-7-10 15:06:33
想ai抽 发表于 2015-7-8 18:08
能具体点儿么?

比如说逻辑删除和物理删除后有没有重启集群,consumer有没有重启等等~    描述问题起 ...

是这样的:我先逻辑删除topic,再物理删除对应目录,没有重启,然后重新创建相同名字的topic,再去消费这个topic仍然可以消费到数据。
我试了下,如果逻辑删除topic然后关闭kafka,再物理删除对应目录,再启动kafka,创建相同名字的topic,再消费数据,就消费不到,这是删除成功了。
感觉这样好麻烦啊。
回复

使用道具 举报

想ai抽 发表于 2015-7-13 11:01:03
直接物理删除本来就对运行时程序十分的不友好~~~资源锁,缓存等都是麻烦事儿,一般都会涉及

其实感觉还是kafka可以改进的地方吧:
1. 逻辑删除某个topic,在这个topic上打标记,可以加时间戳来唯一标识最近的topic【以防用户删除topic后又重建】
2. 然后后台启动一个supervisor来监控topic,进行内存逻辑删除,然后对目录进行物理删除【当然物理目录也可以加时间戳】

其实kafka本身起2里面的东西也是多余的,因为实际生产中这种情况少之又少,仅仅提供一个手动的命令执行这个工作就可以了。不用长期运行。。。。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条