读取 Amazon Kinesis Data Streams 中的数据

Posted cloudrivers

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了读取 Amazon Kinesis Data Streams 中的数据相关的知识,希望对你有一定的参考价值。

使用者 是一种处理 Kinesis 数据流中的所有数据的应用程序。当使用者使用增强型扇出功能 时,它会获取其自己的 2 MiB/秒的读取吞吐量配额,从而允许多个使用者并行读取相同流中的数据,而不必与其他使用者争用读取吞吐量。默认情况下,流中的每个分片均提供 2 MiB/秒的读取吞吐量。此吞吐量跨正在从某给定分片进行读取的所有使用器获取分片。换言之,每个分片的默认 2 MiB/秒的吞吐量是固定的,即使有多个使用器正在从分片中进行读取。

特性没有增强型扇出功能的未注册使用者具有增强型扇出功能的注册使用者
分片读取吞吐量 每个分片的 2MiB/秒总吞吐量是固定的。如果有多个使用器正在从同一分片进行读取,则它们将全部共享此吞吐量。它们从分片中接收的吞吐量总和不会超出 2 MiB/秒。 随着使用器注册进行扩展以使用增强型扇出功能。注册为使用增强型扇出功能的每个使用器均接收其自己的每个分片的读取吞吐量,最多 2MiB/秒,独立于其他使用器。
消息传播延迟 平均约 200 毫秒(如果您有一个从流中读取的使用者)。如果您有五个使用者,则这个平均值高达约 1000 毫秒。 通常情况下,平均为 70 毫秒,无论您是拥有一个使用者,还是五个使用者。
成本 不适用 存在数据检索费用和使用器分片小时费用。有关更多信息,请参阅 Amazon Kinesis 数据流定价
记录传输模型 使用 GetRecords 通过 HTTP 提取模型。 Kinesis Data Streams 使用 SubscribeToShard 通过 HTTP/2 将记录推送给您。

以上是关于读取 Amazon Kinesis Data Streams 中的数据的主要内容,如果未能解决你的问题,请参考以下文章

Amazon Kinesis Data Firehose 数据转换

Amazon Kinesis Data Streams 术语和概念

读取 Amazon Kinesis Firehose 流写入 s3 的数据

使用 Amazon Kinesis Data Firehose ElasticSearch Selivery 时是不是可以设置文档 ID

如何在 Amazon Kinesis 服务上部署和运行 Amazon Kinesis 应用程序

Amazon Kinesis:在同步 Kinesis 分片和租约时捕获异常