将数据从 AWS S3 复制到 Aurora Postgres

Posted 2023-02-16

【中文标题】将数据从 AWS S3 复制到 Aurora Postgres

【英文标题】：Copy data from AWS S3 to Aurora Postgres

【发布时间】：2017-08-26 05:46:54

【问题描述】：

我正在尝试。目前我的流程如下：

从 S3 本地下载文件（在 EC2 实例上） 运行“COPY FROM STDIN ...”命令将数据从输入流加载到 Aurora postgres。

我想知道是否有直接从 S3 复制到 Aurora postgres 的命令。

【参考方案1】：

AWS 的这篇博文提到可以使用 AWS Database Migration service 来做到这一点

https://aws.amazon.com/blogs/database/stream-data-into-an-aurora-postgresql-database-using-aws-dms-and-amazon-kinesis-data-firehose/

AWS DMS 可以从源 S3 存储桶读取数据并将其加载到目标数据库中。为此，请提供对包含一个或多个数据文件的 S3 存储桶的访问权限。在该 S3 存储桶中，包含一个 JSON 文件，该文件描述数据与这些文件中数据的数据库表之间的映射。

源数据文件必须采用逗号分隔值 (CSV) 格式。使用如下所示的命名约定命名文件。在此约定中，schemaName 是源架构，tableName 是该架构中的表的名称。

【讨论】：

虽然他没有在帖子中指定存储在 s3 文件夹中的 json 文件的性质。在那里添加了评论，希望他能回答。我在从 S3 导入时遇到困难。说它成功完成但没有加载数据。已发送 0 行

@joezen77 -- 你有没有让它工作？我在没有加载数据的情况下得到相同的响应。