带有 debezium 嵌入式连接器的外部偏移存储

Posted 2023-03-23

【中文标题】带有 debezium 嵌入式连接器的外部偏移存储

【英文标题】：External offset store with the debezium embedded connector

【发布时间】：2020-09-22 07:28:38

【问题描述】：

我的团队正在使用 Debezium 嵌入式连接器构建 CDC 服务。对于偏移存储，我们正在考虑使用 S3/DynamoDB。只是想知道这里是否有人写过类似的东西来外部化偏移存储以及他们选择了什么以及为什么选择它。

【问题讨论】：

您连接到哪个数据库系统？

【参考方案1】：

我们有一个 Postgres 数据库作为源。变更数据捕获 (CDC) 由 Postgres 本身实现（由扩展 pglogical 完成）。 Postgres 的这个 CDC 子系统负责偏移管理。 CDC 子系统将维护一个 CDC 客户端（又名插槽）列表。因此，如果您的客户端创建 CDC 连接，则数据库将从该客户端之前断开连接的点开始（在同一插槽上）。新客户端将创建一个新槽并开始仅接收从该时间点开始创建的 CDC 记录。所以我们不需要记住偏移量。