将数据从 scaleway/aws s3 复制到谷歌云

Posted

技术标签:

【中文标题】将数据从 scaleway/aws s3 复制到谷歌云【英文标题】:copy data from scaleway/aws s3 to google cloud 【发布时间】:2019-03-19 17:51:54 【问题描述】:

我正在尝试使用 gsutil 将文件/文件夹从 scaleway(对象存储桶)复制到谷歌云桶

gsutil cp -R s3://scaleway-bucket gs://cloud-storage-bucket

我收到错误:

AccessDeniedException: 403 InvalidAccessKeyId

InvalidAccessKeyId我们的记录中不存在您提供的 AWS 访问密钥 ID。

我已经检查了 .boto 文件的访问密钥和密钥,条目是正确的。

我认为要么我遗漏了什么,要么做错了。

谢谢。

【问题讨论】:

您是如何配置访问和密钥的? 是的,我已经在 ~/.aws/credentials 文件中配置了它们。它没有用,所以我在 .boto 文件中添加了这些。但得到同样的错误 现在,我为新的 accessID 和密钥生成了另一个令牌,并将它们添加到 .boto 文件中。收到另一个错误,ServiceException: 301 您尝试访问的存储桶必须使用指定的端点进行寻址。请将所有未来的请求发送到此端点。我添加了区域和端点 URL:[plugins] endpoint = awscli_plugin_endpoint region = nl-ams s3 = endpoint_url = s3.nl-ams.scw.cloud max_concurrent_requests = 100 max_queue_size = 1000 仍然得到相同的错误。 不知何故,我想我也可以配置端点。现在,新问题是,出现错误:ResumableUploadAbortException: 401 Anonymous caller does not have storage.objects.create access to cloud-storage-bucket . 【参考方案1】:

我已卸载/删除并重新安装了 gcloud 和 gsutil。它对我有用。

谢谢。

【讨论】:

以上是关于将数据从 scaleway/aws s3 复制到谷歌云的主要内容,如果未能解决你的问题,请参考以下文章

如何将文件从 colab 或云存储复制到谷歌驱动器?

为啥我们需要 distcp 命令将数据从 hdfs 复制到 s3,而我们可以直接将数据写入 s3 位置?

将缓冲区上传到谷歌云存储

定期将数据从 S3 存储桶流式传输到红移

将数据从 AWS S3 复制到 Aurora Postgres

将数据从本地复制到 S3 到 Redshift 表时出现问题