复制命令 Amazon Redshift

Posted

技术标签:

【中文标题】复制命令 Amazon Redshift【英文标题】:Copy Command Amazon Redshift 【发布时间】:2016-09-16 13:54:05 【问题描述】:

在redshift中执行复制命令时,有什么方法可以输出复制的行数。

来自 aws 声明数据在 stl_load_commits 中可用,但会发出警告,即数据可能并不总是正确的。

我正在寻找更可靠的数据。我也在使用kettle 来运行这个复制命令,所以如果有办法从kettle 中获取结果 - 该方法也可以。

【问题讨论】:

【参考方案1】:

我很确定如果您创建一个作业(不是转换)并使用 Kettle 的内置复制步骤,它会报告复制给您的文件数量。

是的,我认为在该步骤中有一个“将文件添加到结果文件名”设置,您可以进一步使用水壶来找出您想要的任何内容。

【讨论】:

以上是关于复制命令 Amazon Redshift的主要内容,如果未能解决你的问题,请参考以下文章

Amazon RedShift 中的“复制”命令是不是是原子的?

使用复制命令和清单文件将 parquet 格式文件加载到 Amazon Redshift 时出错

将数据从 Amazon S3 复制到 Redshift 并避免重复行

使用 Avro 文件批量复制到 Amazon Redshift 中的异常处理

使用 scp 将文件复制到 Amazon EC2 实例?

使用 scp 文件复制到 Amazon EC2 时停止传输 16K