Embedded-Debezium spring boot postgreSQL DB 连接问题

Posted

技术标签:

【中文标题】Embedded-Debezium spring boot postgreSQL DB 连接问题【英文标题】:Embedded-Debezium spring boot postgreSQL DB connectivity issue 【发布时间】:2021-01-02 09:31:48 【问题描述】:

我尝试将 postgreSQL 与 spring boot 和嵌入式 debezium 连接,数据库连接正在建立,在表被锁定后我被拒绝访问。我正在使用复制访问权限登录。请找到以下日志。

2020-09-15 20:27:00.806  INFO 14784 --- [pool-3-thread-1] i.d.c.postgresql.PostgresConnectorTask   : user 'loginUser' connected to database 'pgDatabase' on PostgreSQL 12.1 on x86_64-pc-linux-gnu, compiled by gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-39), 64-bit with roles:
    role 'loginUser' [superuser: false, replication: true, inherit: true, create role: false, create db: false, can log in: true]
2020-09-15 20:27:00.813  INFO 14784 --- [pool-3-thread-1] i.d.c.p.connection.PostgresConnection    : Obtained valid replication slot ReplicationSlot [active=false, latestFlushedLsn=null, catalogXmin=null]
2020-09-15 20:27:00.813  INFO 14784 --- [pool-3-thread-1] i.d.c.postgresql.PostgresConnectorTask   : Found previous offset PostgresOffsetContext [sourceInfoSchema=Schemaio.debezium.connector.postgresql.Source:STRUCT, sourceInfo=source_info[server='pgServer.com-pgDatabase'db='pgDatabase', lsn=LSN2/61010900, txId=14082, timestamp=2020-09-10T01:04:03.660Z, snapshot=FALSE], partition=server=pgServer.com-pgDatabase, lastSnapshotRecord=true, lastCompletelyProcessedLsn=null, lastCommitLsn=null, transactionContext=TransactionContext [currentTransactionId=null, perTableEventCount=, totalEventCount=0]]
2020-09-15 20:27:00.814  INFO 14784 --- [pool-3-thread-1] i.d.c.p.snapshot.InitialSnapshotter      : Previous snapshot has completed successfully, streaming logical changes from last known position
2020-09-15 20:27:00.871 DEBUG 14784 --- [           main] .m.m.a.ExceptionHandlerExceptionResolver : ControllerAdvice beans: 0 @ExceptionHandler, 1 ResponseBodyAdvice
2020-09-15 20:27:08.185  INFO 14784 --- [pool-3-thread-1] i.d.c.p.c.PostgresReplicationConnection  : Initializing PgOutput logical decoder publication
2020-09-15 20:27:08.243  INFO 14784 --- [pool-3-thread-1] i.d.c.p.c.PostgresReplicationConnection  : Creating new publication 'dbz_publication' for plugin 'PGOUTPUT'
2020-09-15 20:27:08.246  INFO 14784 --- [pool-3-thread-1] i.d.c.p.c.PostgresReplicationConnection  : Creating Publication with statement 'CREATE PUBLICATION dbz_publication FOR ALL TABLES;'
2020-09-15 20:27:08.765  INFO 14784 --- [pool-3-thread-1] o.a.k.c.storage.FileOffsetBackingStore   : Stopped FileOffsetBackingStore
2020-09-15 20:27:09.059 ERROR 14784 --- [pool-3-thread-1] io.debezium.embedded.EmbeddedEngine      : Unable to initialize and start connector's task class 'io.debezium.connector.postgresql.PostgresConnectorTask' with config: connector.class=io.debezium.connector.postgresql.PostgresConnector, database.user=loginUser, database.dbname=pgDatabase, offset.storage=org.apache.kafka.connect.storage.FileOffsetBackingStore, database.server.name=pgServer.com-pgDatabase, database.port=5432, plugin.name=pgoutput, table.whitelist=schema.tableName, offset.flush.interval.ms=10000, offset.storage.file.filename=/Users/loginUser/student-offset.dat, database.hostname=pgServer.com, database.password=********, name=student-postgres-connector

io.debezium.jdbc.JdbcConnectionException: ERROR: permission denied for database pgDatabase

【问题讨论】:

【参考方案1】:

请查看permissions你的角色loginUser

设置 PostgreSQL 服务器以运行 Debezium 连接器需要能够执行复制的数据库用户。复制只能由具有适当权限的数据库用户执行,并且只能针对已配置数量的主机执行。

【讨论】:

对您有帮助吗?【参考方案2】:

根据我的经验需要(从 v10.x 开始使用 pgoutput 插件):

在数据库实例上启用逻辑复制; 属于 REPLICATION(或 AWS RDS 的 rds_replication - 无服务器选项似乎已失效多年)角色的用户; 成为所有白名单表的所有者(连接到数据库的用户); 对所有列入白名单的表和序列进行 USE、SELECT; 有权访问“公共”架构(元数据)上的 USE、SELECT; 有权在“公共”架构上创建对象。

注意:拥有 rds_admin 的要求不是一项要求,而是一种简单的上手方式,如果上面的列表太多的话。

【讨论】:

以上是关于Embedded-Debezium spring boot postgreSQL DB 连接问题的主要内容,如果未能解决你的问题,请参考以下文章

你了解Spring从Spring3到Spring5的变迁吗?

Spring全家桶笔记:Spring+Spring Boot+Spring Cloud+Spring MVC

学习笔记——Spring简介;Spring搭建步骤;Spring的特性;Spring中getBean三种方式;Spring中的标签

Spring--Spring入门

Spring框架--Spring事务管理和Spring事务传播行为

Spring框架--Spring事务管理和Spring事务传播行为