Kafka Connect JDBC Source MySQL 增量同步
Posted @SmartSi
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Kafka Connect JDBC Source MySQL 增量同步相关的知识,希望对你有一定的参考价值。
Kafka 版本:2.4.0
上一篇文章 Kafka Connect JDBC Source MySQL 全量同步 中,我们只是将整个表数据导入 Kafka。这对于获取数据快照很有用,但并不是所有场景都需要批量全部同步,有时候我们可能想要获取自上次之后发生的变更以实现增量同步。JDBC Connector 提供了这样的能力,将表中自上次轮询以来发生更改的行流式传输到 Kafka 中。可以基于递增的列(例如,递增的主键)或者时间戳列(例如,上次更新的时间戳)来进行操作。Kafka Connect JDBC Source 提供了三种增量同步模式:
- incrementing
- timestamp
- timestamp+incrementing
下面我们详细介绍每一种模式。
1. incrementing 模式
CREATE TABLE IF NOT EXISTS `stu`</
以上是关于Kafka Connect JDBC Source MySQL 增量同步的主要内容,如果未能解决你的问题,请参考以下文章
如何在 Kafka Connect JDBC Source 连接器中添加显式 WHERE 子句
如何将 kafka-connect-jdbc-5.5.0.jar 添加到 Debezium/connect
pyflink消费kafka-connect-jdbc消息(带schema)
10.Connectors JDBC Kafka Consumer/Source Kafka Producer/Sink Redis