Postgres使用JDBC Kafka Connect进行流式传输

Posted 2021-05-06

我正在尝试使用Kafka Connect JDBC Connector在Postgres数据库中传输更改。我在启动时遇到问题，因为数据库非常大，并且每次查询都会因行间的变化而死亡。

在真正庞大的表上启动JDBC Connector的最佳实践是什么？

答案

假设您无法暂停正在流式传输内容的数据库上的工作负载以允许初始化完成，我会查看Debezium。

事实上，根据你的使用情况，我会看看Debezium，不管:)它让你对Postgres（和MySQL和MongoDB）做真正的CDC，并且是一个Kafka Connect插件，就像JDBC Connector一样，所以你保留了所有的好处那个。