谷歌云平台到 S3/Redshift

Posted 2023-03-31

【中文标题】谷歌云平台到 S3/Redshift

【英文标题】：Google cloud platform to S3/Redshift

【发布时间】：2019-03-11 15:16:11

【问题描述】：

无论如何，Python 中有没有以编程方式从 S3 中的 Google 云平台摄取数据？我的最终目标是从 Google Big Query 获取数据到 Redshift。

【参考方案1】：

您可以使用 gsutil 将数据从 Google Cloud Storage 存储桶复制到 Amazon s3 存储桶，使用如下命令

gsutil -m rsync -rd gs://gcs-bucket s3://s3-bucket

不需要python代码。

【讨论】：

谢谢，这有帮助。

【参考方案2】：

您还可以查看https://rclone.org/，它支持跨许多云存储复制数据，包括 Google Storage 和 AWS S3。