Debezium系列之:把多个数据库中多张表的数据发送到一个Kafka topic中

Posted 目标博客专家

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Debezium系列之:把多个数据库中多张表的数据发送到一个Kafka topic中相关的知识,希望对你有一定的参考价值。

Debezium系列之:把多个数据库中多张表的数据发送到一个Kafka topic中

一、Debezium专栏博客每周更新计划

后续每周在日常更新Debezium技术文章的同时,会以一定频率同步更新Debezium源码阅读系列文章,欢迎与博主交流Debezium相关技术,一起加油。

二、需求描述

需求1:

  • 需要把一个数据库中的多张表的数据,全部导入同一个kafka topic中

需求2:

  • 把多个数据库中多张表的数据发送到一个Kafka topic中

三、参数设置

提交debezium connector需要增加以下参数,才能实现需求1和需求2:

参数1:“transforms”:“Reroute”

参数说明:

  • “transforms”:“Reroute” 默认设置

参数2:“transforms.Reroute.type”:“io.debezium.transforms.ByLogicalTableRouter”

参数说明:

  • “transforms.Re

以上是关于Debezium系列之:把多个数据库中多张表的数据发送到一个Kafka topic中的主要内容,如果未能解决你的问题,请参考以下文章

Debezium系列之:基于Debezium实现高可靠性高实时性秒级别的数据响应系统

Debezium系列之:相同主键数据进入相同分区

Debezium系列之:联合主键数据发往kafka topic相同分区

Debezium系列之:安装部署debezium详细步骤,并把debezium服务托管到systemctl

Flink系列之:Debezium采集Mysql数据库表数据到Kafka Topic,同步kafka topic数据到StarRocks数据库

Debezium系列之:基于数据库信号表和Kafka信号Topic两种技术方案实现增量快照incremental技术的详细步骤