使用 Amazon Kinesis Data Firehose ElasticSearch Selivery 时是不是可以设置文档 ID

Posted

技术标签:

【中文标题】使用 Amazon Kinesis Data Firehose ElasticSearch Selivery 时是不是可以设置文档 ID【英文标题】:Is it possible to set a Document ID when using Amazon Kinesis Data Firehose ElasticSearch Selivery使用 Amazon Kinesis Data Firehose ElasticSearch Selivery 时是否可以设置文档 ID 【发布时间】:2019-08-17 06:53:31 【问题描述】:

我可能有兴趣使用 Kinesis Analytics 实时转换一些流以将它们输出到 ES 集群中。

但是,在 AWS 文档中,当 Amazon Kinesis Data Firehose 将其推送到 ES 时,我看不到我是否能够手动设置自定义文档 ID。

有人可以确认这是可能的吗?

【问题讨论】:

【参考方案1】:

我认为消防软管是不可能的。 Firehose 自动为 Firehose 中的每条消息生成 ID。您可以将数据流式传输到 Kinesis 数据流并使用 lambda 设置文档 ID。

【讨论】:

以上是关于使用 Amazon Kinesis Data Firehose ElasticSearch Selivery 时是不是可以设置文档 ID的主要内容,如果未能解决你的问题,请参考以下文章

读取 Amazon Kinesis Data Streams 中的数据

使用 Amazon Kinesis Data Firehose ElasticSearch Selivery 时是不是可以设置文档 ID

Amazon Kinesis Data Firehose 数据转换

如何在 Amazon Kinesis 服务上部署和运行 Amazon Kinesis 应用程序

Amazon Kinesis + 集成测试

Amazon Kinesis - 使用情况和分片时间