gsutil 从 s3 匿名复制？

Posted 2023-03-29

【中文标题】gsutil 从 s3 匿名复制？

【英文标题】：gsutil to copy anonymously from s3?

【发布时间】：2015-12-14 01:58:49

【问题描述】：

目标是 gsutil 从 s3:// 匿名复制到 gs://。

Boto 支持 s3 匿名连接，但我不知道如何让 gsutil 使用匿名连接方法。

我已将此添加到~/.boto，但没有运气。它仍然希望为 AWS 定义 [Credentials]：

[s3]
anon = True

有什么经验/建议吗？

【参考方案1】：

这是一个 gsutil 错误 - 仅当没有可用的凭据（用于 gs 或 s3）时才使用匿名身份验证。

如果您从 s3:// 匿名读取并在 gs:// 中匿名写入（写入可公开写入的存储桶），您只需不使用 ~/.boto 文件即可运行。

如果您需要结合匿名请求和凭证请求，例如在写入非公共 GCS 存储桶时匿名读取 s3，则需要等待对 this Github issue 的修复。

【参考方案2】：

顺便说一句，如果您希望将大量数据从 S3 复制到 GS，您可能需要尝试 GCS Transfer Service（尽管我认为它不支持匿名 S3 访问）。这将允许您在不通过您的机器发送比特的情况下进行复制。