有没有办法使用 RedShiftCopyActivity 仅将特定列从 RedShift 复制到 S3？

Posted 2023-03-31

【中文标题】有没有办法使用 RedShiftCopyActivity 仅将特定列从 RedShift 复制到 S3？

【英文标题】：Is There A Way To Only Copy Specific Columns From RedShift To S3 Using RedShiftCopyActivity?

【发布时间】：2016-02-17 05:17:46

【问题描述】：

我假设从 RedShift -> S3 复制只能通过 RedshiftcCopyActivity 完成。但是，我似乎找不到仅将特定列复制到 S3 的方法（仅复制所有列）。

我这样做的原因是红移中的一列包含回车符，这与稍后定义的 PigActivity 混淆了。所以我想，由于我不需要该列，我将只复制这些列以使我的 PigActivity 顺利运行。

【参考方案1】：

您可以使用 RedshiftCopyActivity 中的 transformSql 选项来复制选择性列。 参考：http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-redshiftcopyactivity.html

【讨论】：

你说得对……我花了一段时间才意识到我需要的是 transformSql。谢谢！

【参考方案2】：

我相信 RedshiftCopyActivity 用于利用 COPY 命令，即 S3->Redshift。相反的命令是UNLOAD。

您的请求可以通过 SQLActivity 完成，您可以在其中使用 SELECT 语句编写完整的 UNLOAD 命令来定义要卸载的列。