debezium sqlServer 连接器任务是多线程的吗?

Posted

技术标签:

【中文标题】debezium sqlServer 连接器任务是多线程的吗?【英文标题】:Is debezium sqlServer connector task multi-threading? 【发布时间】:2021-07-25 19:52:38 【问题描述】:

我正在使用 debezium 从 Microsoft SQL Server 数据库中获取数据...

我想知道debezium连接器的任务是否使用了多线程。

查看code of debezium我找不到任何明确指定使用多线程的内容..

【问题讨论】:

【参考方案1】:

Debezium 建立在 Kafka Connect 框架之上,它使用了一个属性tasks.max,可以配置为启动多个线程。但是,我不知道是否推荐这样做,因为它会启动多个数据库读取

在文档中说明

mysql 连接器始终使用单个任务,因此不使用该值,因此默认值 (1) 始终可以接受

如果您尝试读取多个表,您可以创建独立的连接器配置并并行运行它们,从而在 Connect 工作集群中启动多个线程

【讨论】:

以上是关于debezium sqlServer 连接器任务是多线程的吗?的主要内容,如果未能解决你的问题,请参考以下文章

Debezium 如何使用 Kafka Connect 正确注册 SqlServer 连接器 - 连接被拒绝

SQL Server 的 Debezium 连接器,并希望在 debezium 层进行过滤

有没有办法删除debezium mysql连接器的现有任务并用新任务替换它

安装 Debezium SQL Server CDC 源连接器

Debezium MS SQL Server 连接器问题

如何使用Debezium从MS SQL中将250张表导入Kafka