Debezium 消息与 kafka-connect sink 连接器期望的格式兼容
Posted
技术标签:
【中文标题】Debezium 消息与 kafka-connect sink 连接器期望的格式兼容【英文标题】：Debezium message compatible with format that kafka-connect sink connectors expect 【发布时间】：2022-01-10 05:44:11 【问题描述】：我有一个debezium 实例，它跟踪postgres 上的更改并将更改消息发送到kafka。在kafka 的另一边，我有kafka connect 和amazon redshift sink connector，并且连接器期望的消息格式与debezium 发送到kafka 的消息格式不兼容。有什么办法可以强制debezium发送amazon redshift sink connector可以接受的消息？
【问题讨论】：
【参考方案1】：解决方案是在source 或sink 连接器端使用New Record State Extraction SMT。
【讨论】：
以上是关于Debezium 消息与 kafka-connect sink 连接器期望的格式兼容的主要内容，如果未能解决你的问题，请参考以下文章
如何配置 Debezium 以使用特定列作为 Kafka 消息键？
Kafka 将 Debezium 与 ms sql 服务器连接起来。密钥提取配置问题
如何从 Debezium 创建的 avro 消息中获取字段？
如何通过 Debezium Connect 反序列化来自 Kafka 消息流的几何字段？