有没有办法使用带有多个前缀的 boto3 分页器？

Posted 2023-03-22

【中文标题】有没有办法使用带有多个前缀的 boto3 分页器？

【英文标题】：There is a way to use boto3 paginator with multiple prefix?

【发布时间】：2022-01-22 05:53:21

【问题描述】：

有没有办法使用 boto3 分页器从多个不同的 AWS S3 路径检索数据？

在下面的例子中，我读取了位于folder/folder1下的所有数据

paginator = s3_client.get_paginator('list_objects_v2')
page_iterator = paginator.paginate(
    Bucket=bucket,
    Prefix="folder/folder1"
) 

但是如果我想从folder/folder1 和folder/folder3 读取所有数据怎么办？一次只使用一个分页器实例可以做到吗？

【参考方案1】：

The ListObjectsV2 API 带一个前缀。

如果您想一次列出多个前缀，请同时或按顺序进行多个 API 调用。