Redshift COPY 并自动创建表?

Posted

技术标签:

【中文标题】Redshift COPY 并自动创建表?【英文标题】:Redshift COPY and create table automatically? 【发布时间】:2020-01-07 09:04:16 【问题描述】:

有没有办法在 Redshift 中自动创建一个 internal 表,然后使用 COPY 将数据移入其中?我可以不使用存储在 AWS Glue 数据目录中的元数据来创建它吗?

目前据我了解,必须手动编写 SQL 来创建表,然后运行 ​​COPY 将数据移动到表中。

编辑:我的问题是创建表。我要运行 COPY 表必须已经存在。我可以使用现有的 GLUE 元数据创建此表吗?还是只能手写SQL?

【问题讨论】:

【参考方案1】:

如果您想自动将数据从 Glue 目录移动到 Redshift 表,您可以使用 AWS Glue 来实现。更多信息请参考this。

准备好 Glue 作业后,您可以随时安排它们在每天的某个时间点运行。

【讨论】:

您在使用 redshift 并且只需要内部表吗?如果你想要一个应该通过访问 Glue 元数据创建的内部表,那么这是不可能的

以上是关于Redshift COPY 并自动创建表?的主要内容,如果未能解决你的问题,请参考以下文章

Redshift COPY 自动压缩

Redshift:当源表中有自动排序键时,创建表失败

Redshift 副本从分析创建不同的压缩编码

如何在特定时间自动创建 Redshift 快照并从快照恢复集群?

当“自动”将数据从 S3 加载到 Redshift 表中时,大小写是不是重要? [复制]

在 RedShift 中自动创建数据库模式的最佳方法