如何在 Kafka Connect S3 中解析记录头？

Posted 2023-03-23

【中文标题】如何在 Kafka Connect S3 中解析记录头？

【英文标题】：How to parse record headers in Kafka Connect S3?

【发布时间】：2021-01-17 02:55:18

【问题描述】：

我使用 Kafka Connect S3 Sink，它只将记录的值写入 S3。我想将一些记录的标头合并到写入 S3 的最终有效负载中。

我该怎么做？

【参考方案1】：

您将需要使用简单消息转换来截取记录并解包标题并将它们“移动”到记录对象的值部分。

在Kafka Connect S3的源码中可以看到记录值确实只写了。

【讨论】：

感谢您的回答。我的同事在 Kafka Connect 中找到了一个recent commit，看起来配置中会支持它。这是真的吗？

看起来已经合并了，所以看起来是这样。就个人而言，我多年来一直在寻找该功能