将数据加载到 redshift 数据库中

Posted 2023-03-30

【中文标题】将数据加载到 redshift 数据库中

【英文标题】：Loading data into redshft database

【发布时间】：2018-10-08 04:01:51

【问题描述】：

我在 amazon s3 的一个文件夹中有五个 JSON 文件。我正在尝试使用复制命令将所有五个文件从 s3 加载到 redshift 中。将一个文件从 s3 加载到 redshift 时出现错误。 redshift 中是否有任何方法可以跳过加载该文件并加载下一个文件。

【问题讨论】：

是完整的文件更正还是有一些记录有数据问题？

【参考方案1】：

在COPY 命令中使用MAXERROR 参数来增加允许的错误数。这将跳过任何产生错误的行。

然后，使用STL_LOAD_ERRORS 表查看错误并诊断数据问题。