KSQL / KStream - 根据生成时间获取偏移量

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了KSQL / KStream - 根据生成时间获取偏移量相关的知识,希望对你有一定的参考价值。

我知道使用Kafka使用者的api我们可以获得与特定时间戳(getOffsetsByTimes())相对应的偏移量。

我们如何获得偏移并从基于KSQL或KSTream中的时间戳的点开始重放流?

答案

KSQL尚不支持此功能。您有一个选择是使用谓词来过滤掉您不想要的记录:

SELECT * FROM SOURCE_STREAM WHERE ROWTIME > xxxx

但这可能效率低,具体取决于偏移量相对于日志中数据量的位置。

以上是关于KSQL / KStream - 根据生成时间获取偏移量的主要内容,如果未能解决你的问题,请参考以下文章

从 Avro Debezium 数据创建基于 Avro 的 KSQL 流会生成奇怪的模式

KStream-KStream 内连接基于具有匹配组合键的消息

去重 KStream-KStream 的中间结果加入 Kafka Streams

如何根据连接器名称获取 Kafka 源连接器架构

Kafka Streams API:KStream 到 KTable

在Avro Debezium数据上创建一个基于Avro的KSQL流,会产生奇怪的模式。