我们如何检查到目前为止从 Kafka 主题加载到数据库的记录数？

Posted 2023-03-23

【中文标题】我们如何检查到目前为止从 Kafka 主题加载到数据库的记录数？

【英文标题】：How do we check number of records are loaded so far onto db from Kafka topic?

【发布时间】：2021-09-02 05:20:23

【问题描述】：

我正在尝试使用 Jdbc sink connector 将数据从 Kafka 主题加载到 Postgres。现在，我们如何知道到目前为止加载到 Postgres 中的记录数。到目前为止，我一直在使用 sql 查询检查数据库中的记录数。有没有其他方法可以知道？

【参考方案1】：

Kafka Connect 不跟踪这个。我发现桌子上的SELECT COUNT(*) 没有任何问题，但这并不排除其他写入该表的进程

【参考方案2】：

这在 KAFKA 中是不可能的。因为一旦您将记录下沉到目标数据库中，KAFKA 就已经完成了它的工作。但是您可以使用 SINK Record Collections 跟踪正在更新的记录数，将其写入本地文件或插入 KAFKA 状态存储。