膨胀无效或不完整的数据失败。 zlib 错误代码 -3

Posted 2023-03-31

【中文标题】膨胀无效或不完整的数据失败。 zlib 错误代码 -3

【英文标题】：Failed to inflateinvalid or incomplete deflate data. zlib error code -3

【发布时间】：2018-09-26 12:02:29

【问题描述】：

我正在尝试使用 s3 在 redshift 上上传数据。要从中复制数据的文件是 csv 格式（比如命名为 users.csv）。我运行以下命令

    copy user.dimension_users from 's3://<bucket-name>/users.csv'
    credentials
 'aws_access_key_id=<access_key>;aws_secret_access_key=<secret_key>'gzip compupdate off region '<region>';

我从 Workbench/J 执行此命令并收到以下错误：

[Amazon](500310) Invalid operation: Failed writing body (0 != 173) Cause: Failed to inflateinvalid or incomplete deflate data. zlib error code: -3
Details: 
 -----------------------------------------------
  error:  Failed writing body (0 != 173) Cause: Failed to inflateinvalid or incomplete deflate data. zlib error code: -3
  code:      9001
  context:   S3 key being read : s3://<bucket_name>/users.csv
  query:     151550
  location:  table_s3_scanner.cpp:360
  process:   query0_124_151550 [pid=8795]
  -----------------------------------------------;
1 statement failed.

【问题讨论】：

我过去也遇到过类似的问题，你有机会调查一下吗？ ***.com/questions/45906216/…

@RedBoy 是的。我正在关注这个问题。您能否告诉我您是如何发现问题出在 gzip 上的，以及您是如何解决的。谢谢

我从S3手动下载了文件，当我检查时，文件不是gzipped，而是纯文本文件。因此 Redshift 失败了。

您可以简单地从查询中删除gzip，它应该可以工作。

【参考方案1】：

膨胀无效或不完整的放气数据失败。

这基本上是在告诉您尝试使用 COPY 语句加载的文件的压缩存在问题。可能的原因：

文件不完整或损坏 文件实际上没有被压缩 使用 gzip（即未压缩或以其他格式压缩） 比 gzip)