Amazon Kinesis Data Firehose

Posted 2022-12-18 cloudrivers

Amazon Kinesis Data Firehose 是一个完全托管的服务，用于将实时流数据传输到目标，例如，Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon Elasticsearch Service (Amazon ES) 和 Splunk。Kinesis Data Firehose 与 Kinesis Data Streams、Kinesis Video Streams 和 Amazon Kinesis Data Analytics 都是 Kinesis 流式处理数据平台的一部分。在使用 Kinesis Data Firehose 时，您无需编写应用程序或管理资源。您可以配置数据创建器以将数据发送到 Kinesis Data Firehose，后者自动将数据传输到您指定的目标。您还可以配置 Kinesis Data Firehose 以在传输之前转换数据。

数据流

对于 Amazon S3 目标，流数据将传输到您的 S3 存储桶。如果启用了数据转换，您可以选择将源数据备份到另一个 Amazon S3 存储桶。

对于 Amazon Redshift 目标，流数据先传输到您的 S3 存储桶。然后，Kinesis Data Firehose 发出 Amazon Redshift COPY 命令，将数据从您的 S3 存储桶加载到 Amazon Redshift 集群。如果启用了数据转换，您可以选择将源数据备份到另一个 Amazon S3 存储桶。

对于 Amazon ES 目标，流数据将传输到您的 Amazon ES 集群，并且可以选择将流数据同时备份到 S3 存储桶中。

对于 Splunk 目标，流数据将传输到 Splunk，并且可以选择将流数据同时备份到 S3 存储桶中。