在 Amazon Redshift 中的表之间传输数据

Posted 2023-03-30

【中文标题】在 Amazon Redshift 中的表之间传输数据

【英文标题】：Transfer data between tables in Amazon Redshift

【发布时间】：2017-12-18 19:40:52

【问题描述】：

如何在 AWS Redshift 中处理和更新/追加表 1 中的数据到表 2？

每当数据从 S3 加载到 table1 时，表之间的数据传输需要自动进行。

Table1 数据通过 AWS Data Pipeline 从 AWS S3 复制。

【问题讨论】：

你可以使用视图吗？

【参考方案1】：

您可以运行SQL命令来复制数据，例如：

INSERT INTO table2
SELECT * FROM table1

但是，没有机制可以自动触发。

【讨论】：

感谢您的回复。如果我必须自动化整个过程，例如通过数据管道从 s3 更新 table1 后立即将数据加载到 table2，我需要卸载到 s3 并通过管道再次将其加载到 table2？

让 Pipeline 触发一些在 Redshift 集群中运行 SQL 命令的脚本可能更容易——比执行导出/导入要简单得多，但它需要您编写脚本。例如，使用psql 或连接到 PostgreSQL 的 Python 库，但将其指向 Redshift 集群。