kafka的消费者组该怎么删除

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka的消费者组该怎么删除相关的知识,希望对你有一定的参考价值。

参考技术A 很早以前我们组里的Intern写过一个Patch用来GC旧的consumer metadata from ZK:

[KAFKA-559] Garbage collect old consumer metadata entries

这个最终没有merge进code base,不过你可以考虑拿过来改一改自己用。

此外就是新版本0.9里面新增的Java New Consumer API,去掉了ZK的依赖,直接用Kafka Server做Coordination,在这里只要一个consumer group里面所有的member都掉线后,这个group之后就会被自动GC掉,包括它的offsets等等。这个新版本Consumer已经用在LI快两年了。当然要用这个新client你也需要upgrade你的Kafka Server到0.9版本:

Consumer Client Re-Design

怎么彻底删除kafka的topic,然后重建

server.properties 中添加delete.topic.enable=true
执行D:\Developer\kafka_2.10-0.10.0.0\bin\windows>kafka-topics.bat --zookeeper 127.0.0.1:2181 --delete --topic TEST-TOPIC
执行zookeeper-server-stop.bat,后在重启kafka
重新发送消息即可,会自动根据配置的partitions重建
注意:不执行1步骤,就是假删除。
参考技术A

    server.properties 中添加delete.topic.enable=true

    执行D:\\Developer\\kafka_2.10-0.10.0.0\\bin\\windows>kafka-topics.bat --zookeeper 127.0.0.1:2181 --delete --topic TEST-TOPIC

    执行zookeeper-server-stop.bat,后在重启kafka

    重新发送消息即可,会自动根据配置的partitions重建

注意:不执行1步骤,就是假删除。

本回答被提问者采纳

以上是关于kafka的消费者组该怎么删除的主要内容,如果未能解决你的问题,请参考以下文章

kafka删除节点怎么删除

7.kafka运维 kafka-consumer-groups.sh消费者组管理

kafka消费byte数据的序列化

在 zookeeper 中删除一个 kafka 消费者组

一条消息怎么被两个消费者消费

在 KAFKA 中消费后删除消息