KSQL / KStream - 根据生成时间获取偏移量
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了KSQL / KStream - 根据生成时间获取偏移量相关的知识,希望对你有一定的参考价值。
我知道使用Kafka使用者的api我们可以获得与特定时间戳(getOffsetsByTimes())相对应的偏移量。
我们如何获得偏移并从基于KSQL或KSTream中的时间戳的点开始重放流?
答案
KSQL尚不支持此功能。您有一个选择是使用谓词来过滤掉您不想要的记录:
SELECT * FROM SOURCE_STREAM WHERE ROWTIME > xxxx
但这可能效率低,具体取决于偏移量相对于日志中数据量的位置。
以上是关于KSQL / KStream - 根据生成时间获取偏移量的主要内容,如果未能解决你的问题,请参考以下文章
从 Avro Debezium 数据创建基于 Avro 的 KSQL 流会生成奇怪的模式
KStream-KStream 内连接基于具有匹配组合键的消息
去重 KStream-KStream 的中间结果加入 Kafka Streams