快速获取AWS S3对象元数据

Posted 2021-05-07

这个问题How can I read the metadata for every item in an S3 bucket?处理如何在AWS S3上获取对象的元数据的方式，但是这个过程非常缓慢。即使我使用“boto3”，我也会在7秒内获得大约50个对象的元数据。有没有可靠的替代方案？我只需要一个目录的数据，但是它可以包含几千个对象。作为最后的手段我只考虑获取最新的对象的元数据，但为此我首先需要元数据我猜:)

答案

如果您不介意每天只获取一次信息，可以使用Amazon S3 Inventory：

Amazon S3清单提供逗号分隔值（CSV）或Apache优化行列（ORC）输出文件，每天或每周为S3存储桶或共享前缀（即具有对象的对象）列出对象及其对应的元数据以普通字符串开头的名称。

如果您需要更频繁地更新信息，则可以在创建新对象时在存储桶上配置触发AWS Lambda函数的事件。然后，Lambda函数可以将信息存储在数据库中以供将来参考。当然，您必须自己编写此代码。