Redshift UNLOAD COPY 失败数据损坏 stl_load_errors MAXFILESIZE

Posted 2023-03-30

【中文标题】Redshift UNLOAD COPY 失败数据损坏 stl_load_errors MAXFILESIZE

【英文标题】：Redshift UNLOAD COPY Failure Data Corruption stl_load_errors MAXFILESIZE

【发布时间】：2018-05-16 20:34:42

【问题描述】：

从 stl_load_errors 中选择不同的 err_reason；

无效数字，值“e”，位置 0，类型：整数 无效数字，值“e”，位置 1，类型：Double 无效数字，值“b”，位置 6，类型：整数 非空字段缺少数据 无效数字，值“N”，位置 0，类型：Long 无效数字，值“d”，位置 2，类型：Double 字符串长度超过 DDL 长度 无效数字，值 '"'，位置 6，类型：整数 无效数字，值“L”，位置 0，类型：整数 未找到分隔符 无效数据 无效数字，值“D”，位置 0，类型：整数 无效数字，值“c”，位置 8，类型：整数 无效数字，值“f”，位置 5，类型：整数

我在使用卸载和复制功能完成从一个 Redshift 到另一个 Redshift 的数据迁移时遇到问题。经过大量检查，UNLOAD 语句似乎存在数据损坏，但我无法弄清楚原因。

【参考方案1】：

原来是 UNLOAD 参数 MAXFILESIZE 导致了这个问题。正确删除它会卸载我的数据。我认为这个 Redshift 参数目前存在问题。

【讨论】：

我只能在 > 10GB 的表上重新创建此错误，但我没有做太多测试。我通知了 AWS 支持。