是否可以选择删除主题中超过一小时的 kafka 主题旧消息

Posted 2023-03-10

【中文标题】是否可以选择删除主题中超过一小时的 kafka 主题旧消息

【英文标题】：Is there an option to delete kafka topic older messages than one hour in a topic

【发布时间】：2019-03-31 19:40:57

【问题描述】：

是否有一个选项可以删除主题中超过一小时的 kafka 旧消息。主题中只需要最后一小时的消息。 Kafka 生产者每分钟都会接受消息到一个主题中。我需要使用当前主题的最后一小时数据。 1. 是否可以选择删除主题中超过一小时的消息，需要在该主题中保留少于一小时的数据 2. 是否可以选择从一个主题中读取最近一小时的数据，主题有完整的一天数据

【参考方案1】：

您可以在单个主题上设置retention.ms，也可以在代理上设置log.retention.ms 以覆盖一周的默认保留期。

否则，在 Kafka 0.10.2 之后，您的消费者还可以通过时间戳查找偏移量，因此您必须根据当前时间查找从哪里消费，减去一个小时