直接使用 pg_dump RDS 到 S3(无需中介)
Posted
技术标签:
【中文标题】直接使用 pg_dump RDS 到 S3(无需中介)【英文标题】:RDS to S3 using pg_dump directly (without intermediary) 【发布时间】:2014-03-27 21:02:27 【问题描述】:可以在 RDS 或 S3 中运行 pg_dump(无需使用 ec2 之类的中介来执行命令)
【问题讨论】:
【参考方案1】:AWS CLI 添加了对uploads from stdin 的支持,因此您现在可以选择执行以下操作:
pg_dump ...dbargs... | aws s3 cp - s3://my-bucket/backup-$(date "+%Y-%m-%d-%H-%M-%S")
这并不理想,因为您要流式传输到本地计算机,然后进入 s3 - 但它至少是一个命令。
【讨论】:
【参考方案2】:只要您的数据库安全组允许外部访问端口 5432(postgres 的默认值),您就应该能够访问它。然后你就可以运行了:
pg_dump -h <database_host> -U <username> <database>
请记住,您的连接不会被加密。
AFAIK,AWS 中 RDS 和 S3 之间没有接口,因此您必须使用中介将数据传输到 S3。
【讨论】:
只要有可能,从 AWS 内部的 EC2 实例运行这些东西 - 更快、更安全(将数据库打开到互联网 = 不好)并且没有出站数据成本。上传到 S3 的速度也快得多。以上是关于直接使用 pg_dump RDS 到 S3(无需中介)的主要内容,如果未能解决你的问题,请参考以下文章
将一张表从 RDS / postgres 加载到 Redshift