阅读来自 kafka 的最新消息-segmentio/kafka-go

Posted 2023-03-27

【中文标题】阅读来自 kafka 的最新消息-segmentio/kafka-go

【英文标题】：Read latest message from kafka - segmentio/kafka-go

【发布时间】：2019-11-24 11:51:58

【问题描述】：

我正在使用 segmentio/kafka-go 客户端从主题中读取消息。 我找不到..如何从上一条/新消息开始阅读。

每次我启动代码时，它都会从该分区中的起始偏移量开始读取。

【参考方案1】：

关于消费来自 Kafka 的消息，您需要了解的是，每个消费者客户端都是 Consumer Group 的一部分。 Kafka 将每个 Consumer Group 的已处理偏移量存储在一个名为 __consumer_offsets 的内部 Kafka 主题中的主题分区级别。这使消费者组的消费者能够在重新启动后从中断的地方继续消费。

在您的情况下，这意味着您需要设置消费者组（在KafkaConsumer API 中是配置“group.id”）并保持不变。只有这样您才能继续阅读最新/最新的 est 消息，而不是在重新开始后从头开始。