Kafka Connect JDBC Source MySQL 增量同步

Posted @SmartSi

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Kafka Connect JDBC Source MySQL 增量同步相关的知识,希望对你有一定的参考价值。

Kafka 版本:2.4.0

上一篇文章 Kafka Connect JDBC Source MySQL 全量同步 中,我们只是将整个表数据导入 Kafka。这对于获取数据快照很有用,但并不是所有场景都需要批量全部同步,有时候我们可能想要获取自上次之后发生的变更以实现增量同步。JDBC Connector 提供了这样的能力,将表中自上次轮询以来发生更改的行流式传输到 Kafka 中。可以基于递增的列(例如,递增的主键)或者时间戳列(例如,上次更新的时间戳)来进行操作。Kafka Connect JDBC Source 提供了三种增量同步模式:

  • incrementing
  • timestamp
  • timestamp+incrementing

下面我们详细介绍每一种模式。

1. incrementing 模式

CREATE TABLE IF NOT EXISTS `stu`</

以上是关于Kafka Connect JDBC Source MySQL 增量同步的主要内容,如果未能解决你的问题,请参考以下文章

如何在 Kafka Connect JDBC Source 连接器中添加显式 WHERE 子句

带有旧数据库的JDBC Kafka连接器

如何将 kafka-connect-jdbc-5.5.0.jar 添加到 Debezium/connect

pyflink消费kafka-connect-jdbc消息(带schema)

Kafka Source Connect - 列白名单

10.Connectors JDBC Kafka Consumer/Source Kafka Producer/Sink Redis