将 RedShift 文件以 CSV 格式移至 S3

Posted

技术标签:

【中文标题】将 RedShift 文件以 CSV 格式移至 S3【英文标题】:Move RedShift file to S3 as CSV 【发布时间】:2014-04-04 14:36:26 【问题描述】:

我正在尝试将文件从 RedShift 移动到 S3。是否可以选择将此文件作为 .csv 文件移动?

目前我正在编写一个 shell 脚本来获取 Redshift 数据,将其保存为 .csv,然后上传到 S3。我假设因为这一切都在 AWS 服务上,所以他们会有一个争论或让我这样做的东西。

【问题讨论】:

【参考方案1】:

使用UNLOAD 命令。它会为每个切片创建至少一个文件,您必须自己合并文件。

unload ('__SQL__')
to 's3://__BUCKET__/__PATH__'
credentials 'aws_access_key_id=__S3_KEY__;aws_secret_access_key=__S3_SECRET__'
delimiter as ','
addquotes
escape

【讨论】:

以上是关于将 RedShift 文件以 CSV 格式移至 S3的主要内容,如果未能解决你的问题,请参考以下文章

1214:使用 COPY 命令将数据从 csv 导入 Redshift 时 CSV 的报价格式无效

如何使用 psql 以 CSV 格式导出 Redshift 集群的数据

使用适当的变量类型将 CSV 文件从 redshift 导出到本地

如何以 csv 格式导出 redhsift 卸载命令的输出?

Redshift - 在 where 子句中从 csv 传递值

如何在 Copy commd 中使用反斜杠字符将 s3 csv gz 文件加载到 Redshift