S3中json和jpeg组合的列表和文件夹

Posted

技术标签:

【中文标题】S3中json和jpeg组合的列表和文件夹【英文标题】:List and folder of the combination of json and jpeg from S3 【发布时间】:2022-01-07 04:07:25 【问题描述】:

在 S3 存储桶中,我要访问 10 个文件。如下:

1.jpeg 1.json 2.jpeg 2.json 3.jpeg 3.json 4.jpeg 5.jpeg 6.jpeg 7.jpeg

对于每个json文件,都有一个对应的jpeg文件。

我想将它们分成 3 个文件列表并下载到 3 个文件夹中。

文件夹一是json,里面有文件

1.json
2.json
3.json

第二个文件夹包含相关图像

1.jpeg
2.jpeg
3.jpeg

第三个文件夹只包含没有对应json的图片

4.jpeg
5.jpeg
6.jpeg
7.jpeg

我该怎么做?

【问题讨论】:

你已经为此做了什么?人们可以帮助您解决您已经解决的方法或代码中的问题。 【参考方案1】:

您需要在 Python 代码中执行此操作:

objects = ['1.jpeg', '1.json', '2.jpeg', '2.json', '3.jpeg', '3.json', '4.jpeg', '5.jpeg', '6.jpeg', '7.jpeg']

# All .json keys
json_list = [key for key in objects if key.endswith('.json')]

# All .jpeg keys that match the .json keys
matching_jpeg_list = [key for key in objects if key.endswith('.jpeg') and key.replace('.jpeg', '.json') in json_list]

# All .jpeg keys that do NOT match .json keys
mismatched_jpeg_list = [key for key in objects if key.endswith('.jpeg') and key not in matching_jpeg_list]

print('json list:', json_list)
print('matching jpeg list:', matching_jpeg_list)
print('mismatched jpeg list', mismatched_jpeg_list)

【讨论】:

以上是关于S3中json和jpeg组合的列表和文件夹的主要内容,如果未能解决你的问题,请参考以下文章

雪管基础设施和 s3 子文件夹

如何在 S3 中查询异构 JSON 数据?

将多个 JSON 文件合并为单个 JSON 和 parquet 文件

使用“aws s3”实用程序在 S3 中获取 1 个月以前的文件列表

aws s3 如何处理覆盖文件和访问?

AWS S3 对象列表