Hadoop 压缩页眉和页脚

Posted 2023-03-06

【中文标题】Hadoop 压缩页眉和页脚

【英文标题】：Hadoop compression headers and footers

【发布时间】：2016-02-04 07:19:09

【问题描述】：

Gzip 压缩文件格式已知是一种带有额外页眉和页脚的 DEFLATE 压缩文件格式。与 lzop 编解码器类似，它是带有额外标头的 LZO 格式。

知道这些页眉和页脚是什么吗？我怎样才能看到它们的内容？

感谢您的宝贵时间。

【参考方案1】：

gzip 头和尾格式在RFC 1952 中定义。

【讨论】：

感谢您的回复。那信息量很大。参考链接后，我还有一些问题。 (1) Gzipped 文件是否有页脚？ (2) 页眉 [和页脚（如果有）] 成员名称（例如 ID1、ID2 等）是否在不同的压缩格式中保持通用，并且只有它们各自的值不同？我的第二个问题将有助于理解 LZOP。

您一定没有完整阅读过 RFC。它描述了页眉和拖车（页脚）。阅读 RFC。在 RFC 中还指出您没有阅读的是 gzip 格式仅用于一种压缩格式，deflate。你不要用它包装 LZO 数据。

我的 cmets 可能不是很清楚。事实上，我浏览了 RFC，找不到任何（命名的）页脚/预告片。而对于标头，则有命名成员，例如 ID1、ID2。我只是想知道 RFC 中讨论的标头是否也适用于其他压缩格式，将它们视为“通用标头”。感谢您的快速响应。

预告片在“压缩块”之后清晰显示。

好的。那应该是CRC32和ISIZE。 lzop上有什么输入吗？