使用 AWS kinesis-firehose 将数据写入文件

Posted 2023-02-24

【中文标题】使用 AWS kinesis-firehose 将数据写入文件

【英文标题】：Write data to file using AWS kinesis-firehose

【发布时间】：2021-05-26 00:06:26

【问题描述】：

我有一个节点应用程序，它使用 firehose 流将数据写入 s3。我正在使用 putRecord 方法。对象已成功进入 s3 存储桶。 但是，我想将数据写入文件（.txt 格式）而不是对象。 是否有一些方法可以从流写入 s3 作为文本文件？ 从 kinesis-firehose 更新 s3 对象。 有时，firehose 也会对一个记录进行多个条目。如果我在一分钟或更长时间后写，它会生成新记录。有没有办法确保每个条目都存储为新对象而不考虑间隔。

【参考方案1】：

Kinesis Firehose 不适合您的用例，因为它的最小缓冲间隔为 1 分钟。如果你想要单个对象，为什么不使用 S3 SDK？