如何刷新 __consumer_offsets 主题?
Posted
技术标签:
【中文标题】如何刷新 __consumer_offsets 主题?【英文标题】:How to flush the __consumer_offsets topic? 【发布时间】:2021-08-08 12:10:17 【问题描述】:这个主题有最佳实践吗?
我刚刚设置了offsets.retention.minutes=1,重启了broker,查看日志中offsets.retention.minutes=1但是__consumer_offsets topic的50个partition的大小还是一样。
为什么?
【问题讨论】:
该设置不会立即生效。您需要等待日志清理线程启动。但是,您只有一个经纪人吗? @OneCricketeer 2 经纪人。是否有刷新该主题的最佳实践?谢谢:) AFAIK,“最佳实践”表示将其留在开发环境之外。您需要修改两个代理的属性,但这不是您实际修改主题保留设置的方式,因为该设置仅在主题不存在时适用(首次创建时)。您可以像任何其他主题一样使用kafka-topics
命令来修改其保留期
【参考方案1】:
offsets.retention.minutes
仅适用于 __consumer_offsets
尚不存在的情况。
您可以像任何其他主题一样更改保留时间 - Purge Kafka Topic,但“最佳实践”表示不要理会该主题,让 LogCleaner 处理删除旧的消费者组
【讨论】:
以上是关于如何刷新 __consumer_offsets 主题?的主要内容,如果未能解决你的问题,请参考以下文章
Kafka 中的 __consumer_offsets 和 _schema 主题有啥用?
how to read from __consumer_offsets topic
Kafka 如何读取指定topic中的offset -------------用来验证分区是不是均衡!!!(__consumer_offsets)(注,本文尚在测试验证阶段,,,后续一俩天会追加修
日常填坑1-linux 下kafka启动失败,没有默认节点__consumer_offsets
kafka 关于offset的理解--关于__consumer_offsets分析
java.nio.file.FileSystemException: D:kafka_2.12-2.1.0kafka_2.12-2.1.0logs\__consumer_offsets-30