如何在python3中使用lzma（* .warc.xz）压缩warc记录？

Posted 2023-03-06

【中文标题】如何在python3中使用lzma（* .warc.xz）压缩warc记录？

【英文标题】：How to compress warc records with lzma (*.warc.xz) in python3?

【发布时间】：2017-01-14 12:36:52

【问题描述】：

我有一份warc记录列表。列表中的每一项都是这样创建的：

header = warc.WARCHeader(
    "WARC-Type": "response",
    "WARC-Target-URI": "www.somelink.com",
, defaults=True)
data = "Some string"
record = warc.WARCRecord(header, data.encode('utf-8','replace'))

现在，我使用 *.warc.gz 来存储我的记录，如下所示：

output_file = warc.open("my_file.warc.gz", 'wb')

然后这样写记录：

output_file.write_record(record) # type of record is WARCRecord

但是我怎样才能将 lzma 压缩为 *.warc.xz？我尝试在调用warc.open时用xz替换gz，但是python3中的warc不支持这种格式。我找到了这个trial，但我无法用这个来保存 WARCRecord：

output_file = lzma.open("my_file.warc.xz", 'ab', preset=9)
header = warc.WARCHeader(
    "WARC-Type": "response",
    "WARC-Target-URI": "www.somelink.com",
, defaults=True)
data = "Some string"
record = warc.WARCRecord(header, data.encode('utf-8','replace'))
output_file.write(record)

错误信息是：

TypeError: 需要一个类似字节的对象，而不是 'WARCRecord'

感谢您的帮助。

【参考方案1】：

WARCRecord 类有一个write_to 方法，用于将记录写入文件对象。

您可以使用它将记录写入使用lzma.open() 创建的文件。