使用kafka将表从Oracle复制到Postgresql不起作用

Posted 2023-03-25

【中文标题】使用kafka将表从Oracle复制到Postgresql不起作用

【英文标题】：Replicate tables from Oracle to Postgresql using kafka not working

【发布时间】：2019-10-09 07:08:45

【问题描述】：

我正在使用两个属性文件，一个用于源，一个用于接收器。 当我运行上面描述的连接器时，我可以看到创建的主题和使用者没有任何问题，在任何日志文件或命令提示符中都看不到任何错误。 在目标 Postgresql 数据库中仍然没有创建表。

尝试使用 kafka 将表从 Oracle 复制到 Postgresql 没有融合安装，只有连接器 jar 文件。 版本：

kafka_2.12-2.3.0-test
confluent kafka-connect-jdbc-5.2.3.jar
ojdbc7.jar
postgresql-42.2.8.jar

启动zookeeper和kafka后运行如下命令

bin/connect-standalone.sh config/connect-standalone.properties config/connect-oracle-jdbc-source.properties config/connect-postgresql-jdbc-sink-one-table.properties

源连接器

name=test-oracle-jdbc
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1
connection.url=jdbc:oracle:thin:@xxxxxxx
connection.user=my_user
connection.password=my_password
table.whitelist=LOADER_JOBS
tables="LOADER_JOBS"
mode=timestamp
timestamp.column.name=START_TIME
topic.prefix=test_jdbc_loader_jobs
numeric.mapping=best_fit

接收器连接器

name=test-postgres-jdbc-one-table
connector.class=io.confluent.connect.jdbc.JdbcSinkConnector
tasks.max=1
max.retries=20
connection.url=jdbc:postgresql://localhost:5432/postgres
connection.user=postgres
connection.password=postgres
topics.regex=test_jdbc_loader_jobs
auto.create=true
auto.evolve=true

【参考方案1】：

我在接收器连接器中有错字，属性 auto.create 拼写错误 缺少开头的“a”，它是 uto.create。 它就像一个魅力