gsutil 是不是支持 aws s3 的 sigv4?

Posted

技术标签:

【中文标题】gsutil 是不是支持 aws s3 的 sigv4?【英文标题】:Does gsutil support sigv4 for aws s3?gsutil 是否支持 aws s3 的 sigv4? 【发布时间】:2017-11-01 10:01:45 【问题描述】:

我们正在尝试使用 gsutil 将 s3 中的存储桶从 AWS EMR 实例同步到 GCS。

EMR 实例已经有一个 /etc/boto.cfg 文件,其中包含:

[s3]

使用-sigv4 = True

执行 'gsutil ls s3://' 给出:

失败:BotoClientError:使用 SigV4 时,必须指定 'host' 参数..

删除 /etc/boto.cfg 或删除相应的条目“use-sigv4”可修复此问题。

【问题讨论】:

【参考方案1】:

Gsutil 目前不支持 Signature Version 4。

编辑 2:

Gsutil 4.28 已发布,现在可以通过以下说明进行操作。

编辑:

我已对 Boto 库 in this commit 添加了更改,以允许通过 Boto 设置使用 sigv4。每当我们的下一个版本 (v4.28) 发布时,Gsutil 应该 能够引入这个新版本的 Boto,允许您通过添加以下两个 Boto 设置来利用 sigv4 对 S3 进行身份验证:

[s3]
use-sigv4 = True
host = s3.eu-central-1.amazonaws.com  # Or whatever region is correct.

话虽如此,很遗憾,目前我还没有预计何时可以发布 gsutil 4.28 的 ETA。

【讨论】:

以上是关于gsutil 是不是支持 aws s3 的 sigv4?的主要内容,如果未能解决你的问题,请参考以下文章

gsutil 从 s3 匿名复制?

gsutil rsync Google Store 与 AWS S3 400 ExcessHeaderValues

使用 gsutil 将数据从 aws s3 传输到 gcs - SSL 认证错误

由于身份验证,gsutil 无法复制到 s3

配置 gsutil .boto 文件以使用 AWS STS 假设角色

gsutil 无法验证 Kafka Connect S3 上传的文件的哈希值