Debezium系列之:把多个数据库中多张表的数据发送到一个Kafka topic中
Posted 目标博客专家
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Debezium系列之:把多个数据库中多张表的数据发送到一个Kafka topic中相关的知识,希望对你有一定的参考价值。
Debezium系列之:把多个数据库中多张表的数据发送到一个Kafka topic中
一、Debezium专栏博客每周更新计划
后续每周在日常更新Debezium技术文章的同时,会以一定频率同步更新Debezium源码阅读系列文章,欢迎与博主交流Debezium相关技术,一起加油。
二、需求描述
需求1:
- 需要把一个数据库中的多张表的数据,全部导入同一个kafka topic中
需求2:
- 把多个数据库中多张表的数据发送到一个Kafka topic中
三、参数设置
提交debezium connector需要增加以下参数,才能实现需求1和需求2:
参数1:“transforms”:“Reroute”
参数说明:
- “transforms”:“Reroute” 默认设置
参数2:“transforms.Reroute.type”:“io.debezium.transforms.ByLogicalTableRouter”
参数说明:
- “transforms.Re
以上是关于Debezium系列之:把多个数据库中多张表的数据发送到一个Kafka topic中的主要内容,如果未能解决你的问题,请参考以下文章
Debezium系列之:基于Debezium实现高可靠性高实时性秒级别的数据响应系统
Debezium系列之:联合主键数据发往kafka topic相同分区
Debezium系列之:安装部署debezium详细步骤,并把debezium服务托管到systemctl
Flink系列之:Debezium采集Mysql数据库表数据到Kafka Topic,同步kafka topic数据到StarRocks数据库
Debezium系列之:基于数据库信号表和Kafka信号Topic两种技术方案实现增量快照incremental技术的详细步骤