使用 Boto3 如何从 AWS s3 下载文件列表作为 zip 文件维护文件夹结构？

Posted 2023-03-22

【中文标题】使用 Boto3 如何从 AWS s3 下载文件列表作为 zip 文件维护文件夹结构？

【英文标题】：Using Boto3 how to download list of files from AWS s3 as a zip file maintaining the folder structure?

【发布时间】：2021-09-03 04:35:09

【问题描述】：

我正在尝试下载维护子文件夹结构的父文件夹中的文件列表。

例如： AWS s3中的文件夹结构https://testbucket.s3.amazonaws.com/folder1/folder2/folder3

“文件夹 3”中的子文件夹和文件：

Subfolders	files
3.1	3.1.1.jpg, 3.1.2. jpg
3.2	3.2.1.jpg, 3.2.2. jpg
3.3	3.3.1.jpg, 3.3.2. jpg

要下载的文件列表：[/folder3/3.1/3.1.1.jpg、/folder3/3.2/3.2.1.jpg、/folder3/3.2/3.2.2.jpg]

是否有内置功能是 boto3，通过维护文件夹结构将上述文件下载为 zip 文件？

注意：我尝试使用 python 包“Aws-S3-Manager”，但无法使用它维护文件夹结构

【参考方案1】：

没有。 Amazon S3 没有 Zip 功能。

您需要单独下载每个对象，但您可以并行进行以减少传输时间。