Kafka SMT ValueToKey - 如何使用多个值作为关键？

Posted 2021-04-04

我正在使用Confluent JDBCSourceConnector从Oracle表中读取。我正在尝试使用SMT生成由3个连接字段组成的密钥。

transforms=createKey
transforms.createKey.type=org.apache.kafka.connect.transforms.ValueToKey
transforms.createKey.fields=BUS_OFC_ID_CD,SO_TYPE,SO_NO

使用上面的转换，我得到这样的东西：

{"BUS_OFC_ID_CD":"111","SO_TYPE":"I","SO_NO":"55555"}

我想要像：

111I55555

关于如何仅连接值的任何想法？

答案

我无法解决属性文件中的上述问题。所以，解决方法是：

• 创建一个视图（我们必须这样做才能使mode = timestamp与我们的Oracle DB一起工作）
• 添加一个带有KEYNAME连接值的额外字段
• 提取连接值以用作键。

例如：

CREATE VIEW XX_TEST_V AS 
SELECT BUS_OFC_ID_CD, SO_TYPE, SO_NO, BUS_OFC_ID_CD||SO_TYPE||SO_NO as KEYNAME 
FROM XX_TEST;

然后，这将为您提供JSON密钥消息

{"KEYNAME ":"111I55555"}

然后，在属性文件中完成剥离JSON以仅包含文本

例如：

transforms=createKey,extractString
transforms.createKey.type=org.apache.kafka.connect.transforms.ValueToKey
transforms.createKey.fields=KEYNAME
transforms.extractString.type=org.apache.kafka.connect.transforms.ExtractField$Key
transforms.extractString.field=KEYNAME

这应该给你以下的关键

"111I55555" 

关心彼得