如何刷新 __consumer_offsets 主题?

Posted

技术标签:

【中文标题】如何刷新 __consumer_offsets 主题?【英文标题】:How to flush the __consumer_offsets topic? 【发布时间】:2021-08-08 12:10:17 【问题描述】:

这个主题有最佳实践吗?

我刚刚设置了offsets.retention.minutes=1,重启了broker,查看日志中offsets.retention.minutes=1但是__consumer_offsets topic的50个partition的大小还是一样。

为什么?

【问题讨论】:

该设置不会立即生效。您需要等待日志清理线程启动。但是,您只有一个经纪人吗? @OneCricketeer 2 经纪人。是否有刷新该主题的最佳实践?谢谢:) AFAIK,“最佳实践”表示将其留在开发环境之外。您需要修改两个代理的属性,但这不是您实际修改主题保留设置的方式,因为该设置仅在主题不存在时适用(首次创建时)。您可以像任何其他主题一样使用kafka-topics 命令来修改其保留期 【参考方案1】:

offsets.retention.minutes 仅适用于 __consumer_offsets 尚不存在的情况。

您可以像任何其他主题一样更改保留时间 - Purge Kafka Topic,但“最佳实践”表示不要理会该主题,让 LogCleaner 处理删除旧的消费者组

【讨论】:

以上是关于如何刷新 __consumer_offsets 主题?的主要内容,如果未能解决你的问题,请参考以下文章

Kafka 中的 __consumer_offsets 和 _schema 主题有啥用?

how to read from __consumer_offsets topic

Kafka 如何读取指定topic中的offset -------------用来验证分区是不是均衡!!!(__consumer_offsets)(注,本文尚在测试验证阶段,,,后续一俩天会追加修

日常填坑1-linux 下kafka启动失败,没有默认节点__consumer_offsets

kafka 关于offset的理解--关于__consumer_offsets分析

java.nio.file.FileSystemException: D:kafka_2.12-2.1.0kafka_2.12-2.1.0logs\__consumer_offsets-30