kafka 关于offset的理解--关于__consumer_offsets分析

Posted imaye

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了kafka 关于offset的理解--关于__consumer_offsets分析相关的知识,希望对你有一定的参考价值。

通过groupname 获取groupid

技术图片

 

 

通过命令查
./bin/kafka-consumer-groups.sh --bootstrap-server ip:9092 --describe --group consumer2

技术图片

 

 

保存到 kafka配置的~/data文件夹(现有集群为3/分析得出就是0,3,6……),做kafka集群后offsets会分布在每个集群上,可以认为是一种特俗的topic
通过hash并%50得出对应的__consumer_offsets_num
如果某一台机器down了/并且很不幸/那consumer 获取不到相关的offset,可以通过设置offsets.topic.replication.factor=3来保存offer的topic也有副本 ./bin/kafka-topics.sh -describe --bootstrap-server ip:9092 --topic __consumer_offsets

 技术图片

 

 参考https://www.orchome.com/805 里面评论还挺有意思/

以上是关于kafka 关于offset的理解--关于__consumer_offsets分析的主要内容,如果未能解决你的问题,请参考以下文章

Grafana:如何获取关于 kafka 内部主题的数据?

关于Kafka __consumer_offests的讨论

关于怎么获取kafka指定位置offset消息

关于kafka更改消费者对应分组下的offset值

Kafka 中的 __consumer_offsets 和 _schema 主题有啥用?

深入理解Kafka必知必会