直接使用 pg_dump RDS 到 S3(无需中介)

Posted

技术标签:

【中文标题】直接使用 pg_dump RDS 到 S3(无需中介)【英文标题】:RDS to S3 using pg_dump directly (without intermediary) 【发布时间】:2014-03-27 21:02:27 【问题描述】:

可以在 RDS 或 S3 中运行 pg_dump(无需使用 ec2 之类的中介来执行命令)

【问题讨论】:

【参考方案1】:

AWS CLI 添加了对uploads from stdin 的支持,因此您现在可以选择执行以下操作:

pg_dump ...dbargs... | aws s3 cp - s3://my-bucket/backup-$(date "+%Y-%m-%d-%H-%M-%S")

这并不理想,因为您要流式传输到本地计算机,然后进入 s3 - 但它至少是一个命令。

【讨论】:

【参考方案2】:

只要您的数据库安全组允许外部访问端口 5432(postgres 的默认值),您就应该能够访问它。然后你就可以运行了:

pg_dump -h <database_host> -U <username> <database>

请记住,您的连接不会被加密。

AFAIK,AWS 中 RDS 和 S3 之间没有接口,因此您必须使用中介将数据传输到 S3。

【讨论】:

只要有可能,从 AWS 内部的 EC2 实例运行这些东西 - 更快、更安全(将数据库打开到互联网 = 不好)并且没有出站数据成本。上传到 S3 的速度也快得多。

以上是关于直接使用 pg_dump RDS 到 S3(无需中介)的主要内容,如果未能解决你的问题,请参考以下文章

将一张表从 RDS / postgres 加载到 Redshift

将 s3 的 pg_dump 加载到 redshift

将表从 Postgres RDS 迁移到另一个 RDS

r 将Amazon S3中的RDS加载到磁盘和内存中

如何将镶木地板文件从 s3 导入到 postgresql rds

使用 python 从 AWS S3 到 PostgreSQL Amazon RDS 的 CSV 文件