Confluent 云 S3 接收器连接器 - S3 对象的自定义对象名称

Posted 2023-03-23

【中文标题】Confluent 云 S3 接收器连接器 - S3 对象的自定义对象名称

【英文标题】：Confluent cloud S3 sink connector - custom object name for S3 Objects

【发布时间】：2021-10-19 08:22:30

【问题描述】：

我的Kafka 消息将包含 UUID，它将成为所有未来通信的标识符。我为我的主题配置了一个s3-sink-connector，它使用默认命名约定（即<topic>+<kafkaPartition>+<startOffset>.<format>）将所有摄取的消息写入我的S3存储桶。使用这些名称，很难识别给定消息 UUID 对应的 s3 对象。

有没有办法用原始消息的字段值之一来定义 S3 对象名称？

提前致谢。

【参考方案1】：

您可以使用FieldPartitioner 创建包含s3://bucket/uuid=xxx-yyy-zzz/topic.format 文件的路径

【讨论】：

uuid 是我的消息的字段之一，您能告诉我如何将其设置为路径的一部分吗？

您是否尝试过查找 S3 接收器的 partitioner.class 或 FieldPartitioner 属性的文档？