从 S3 读取 .zst 文件

Posted 2023-03-06

【中文标题】从 S3 读取 .zst 文件

【英文标题】：Reading .zst file from S3

【发布时间】：2021-07-06 19:41:18

【问题描述】：

我正在尝试以编程方式从 S3 解压缩和读取 .zst 文件（即不下载它并在其上运行命令行 decomp）。

这是我正在运行的代码：

import boto3
import zstandard
import os
import io

AWS_S3_BUCKET = os.getenv("AWS_S3_BUCKET")
AWS_ACCESS_KEY_ID = os.getenv("AWS_ACCESS_KEY_ID")
AWS_SECRET_ACCESS_KEY = os.getenv("AWS_SECRET_ACCESS_KEY")

zstd = zstandard.ZstdDecompressor()

s3_client = boto3.client(
    "s3",
    aws_access_key_id=AWS_ACCESS_KEY_ID,
    aws_secret_access_key=AWS_SECRET_ACCESS_KEY,
)

response = s3_client.get_object(Bucket='AWS_S3_BUCKET', Key="folder/example_file_name.zst")

status = response.get("ResponseMetadata", ).get("HTTPStatusCode")

# decompressed = decomp.decompress(response.get("Body").read())
## OR
# with zstd.stream_reader(io.BytesIO(response.get("Body").read())) as r:
#    decompressed = r.read()

所以我正在尝试用“## OR”分隔的最后两行中的任何一个。第一个告诉我它没有关于数据长度的任何信息，所以我尝试输入“max_output_size=number_from_file_metadata”，但它给出了同样的错误：

ZstdError: 从帧头确定内容大小时出错

然后使用“with...”语句，它给出了这个错误：

ZstdError: zstd 解压错误：未知帧描述符

据我所知，第二个错误意味着文件没有真正使用 .zstd 压缩，或者它是使用“无魔法”压缩进行压缩的，并且解压缩无法识别该属性。我是从这里得到的：https://github.com/indygreg/python-zstandard/issues/79

但这真的不清楚，似乎没有多少人对此有疑问。非常感谢任何帮助。

【问题讨论】：

您可以用response.get('Body').read() 在您的minimal reproducible example 中提供的内容替换整个示例的上半部分。我想，要么不是你所期望的，要么这与 S3 和 Boto 无关。

【参考方案1】：

不清楚解压文件后要做什么。如果这有帮助，这就是我将 zstd 文件读入 pandas 的方法：

    resp = boto3.client('s3').get_object(Bucket=bucket, Key=key)
    data = io.BytesIO(resp['Body'].read())
    pd.read_feather(data)

我在读取 zstd 文件时遇到了很多问题，因为我对文件的实际写入不正确。从数据帧写入时，日期格式和正确索引非常特殊。

话虽如此，这可能对您的情况没有任何意义，因为您的文件是什么样子或您的最终目标是什么尚不清楚。