使用多个分片重新读取的 AWS Kinesis 数据顺序
Posted
技术标签:
【中文标题】使用多个分片重新读取的 AWS Kinesis 数据顺序【英文标题】:AWS Kinesis order of data on re-read with multiple shards 【发布时间】:2020-06-09 08:28:46 【问题描述】:假设,有一个消费者从同一个 Kinesis 流的多个分片中读取多个工作人员。我们决定从某个时间点开始重新读取所有记录。是否保证与第一次读取时的顺序相同?我知道从单个分片读取应该是这种情况。但是在处理多个分片时,它是否以某种方式解决了?
【问题讨论】:
【参考方案1】:Kinesis 仅保证每次阅读时每个分片的数据排序。它不保证所有分片组合的数据排序。 所以回答你的问题,是的,顺序和你第一次读的一样。
【讨论】:
以上是关于使用多个分片重新读取的 AWS Kinesis 数据顺序的主要内容,如果未能解决你的问题,请参考以下文章
解释 Kinesis 分片迭代器 - AWS Java 开发工具包
读取 Amazon Kinesis Data Streams 中的数据
Amazon Kinesis:在同步 Kinesis 分片和租约时捕获异常