将数据从 scaleway/aws s3 复制到谷歌云
Posted
技术标签:
【中文标题】将数据从 scaleway/aws s3 复制到谷歌云【英文标题】:copy data from scaleway/aws s3 to google cloud 【发布时间】:2019-03-19 17:51:54 【问题描述】:我正在尝试使用 gsutil 将文件/文件夹从 scaleway(对象存储桶)复制到谷歌云桶
gsutil cp -R s3://scaleway-bucket gs://cloud-storage-bucket
我收到错误:
AccessDeniedException: 403 InvalidAccessKeyId
InvalidAccessKeyId
我们的记录中不存在您提供的 AWS 访问密钥 ID。
我已经检查了 .boto 文件的访问密钥和密钥,条目是正确的。
我认为要么我遗漏了什么,要么做错了。
谢谢。
【问题讨论】:
您是如何配置访问和密钥的? 是的,我已经在 ~/.aws/credentials 文件中配置了它们。它没有用,所以我在 .boto 文件中添加了这些。但得到同样的错误 现在,我为新的 accessID 和密钥生成了另一个令牌,并将它们添加到 .boto 文件中。收到另一个错误,ServiceException: 301 您尝试访问的存储桶必须使用指定的端点进行寻址。请将所有未来的请求发送到此端点。我添加了区域和端点 URL:[plugins] endpoint = awscli_plugin_endpoint region = nl-ams s3 = endpoint_url = s3.nl-ams.scw.cloud max_concurrent_requests = 100 max_queue_size = 1000 仍然得到相同的错误。 不知何故,我想我也可以配置端点。现在,新问题是,出现错误:ResumableUploadAbortException: 401 Anonymous caller does not have storage.objects.create access to cloud-storage-bucket . 【参考方案1】:我已卸载/删除并重新安装了 gcloud 和 gsutil。它对我有用。
谢谢。
【讨论】:
以上是关于将数据从 scaleway/aws s3 复制到谷歌云的主要内容,如果未能解决你的问题,请参考以下文章
为啥我们需要 distcp 命令将数据从 hdfs 复制到 s3,而我们可以直接将数据写入 s3 位置?