使用多个分片重新读取的 AWS Kinesis 数据顺序

Posted

技术标签:

【中文标题】使用多个分片重新读取的 AWS Kinesis 数据顺序【英文标题】:AWS Kinesis order of data on re-read with multiple shards 【发布时间】:2020-06-09 08:28:46 【问题描述】:

假设,有一个消费者从同一个 Kinesis 流的多个分片中读取多个工作人员。我们决定从某个时间点开始重新读取所有记录。是否保证与第一次读取时的顺序相同?我知道从单个分片读取应该是这种情况。但是在处理多个分片时,它是否以某种方式解决了?

【问题讨论】:

【参考方案1】:

Kinesis 仅保证每次阅读时每个分片的数据排序。它不保证所有分片组合的数据排序。 所以回答你的问题,是的,顺序和你第一次读的一样。

【讨论】:

以上是关于使用多个分片重新读取的 AWS Kinesis 数据顺序的主要内容,如果未能解决你的问题,请参考以下文章

解释 Kinesis 分片迭代器 - AWS Java 开发工具包

读取 Amazon Kinesis Data Streams 中的数据

如何确定 AWS kinesis 流中的分区键总数?

Amazon Kinesis:在同步 Kinesis 分片和租约时捕获异常

Amazon Kinesis 和 AWS Lambda 重试

kinesis 数据流中的分片是啥