Scrapy输出文件格式问题汇总

Posted 2020-12-28 renzongxian

Q：Scrapy抓取的内容（包含中文）输出到JSON Lines文件时如何确保输出的是字符本身而不是其unicode编码？
A：默认的JsonLinesItemExporter其ensure_ascii属性为True，使得在ASCII字符集中包含的字符才能输出字符本身，其他的字符（如各种东亚语言）则输出其unicode编码。在piplines.py中添加如下代码，将JsonLinesItemExporter的ensure_ascii设置为False。

class CustomJsonLinesItemExporter(JsonLinesItemExporter):
    def __init__(self, file, **kwargs):
        # 将超类的ensure_ascii属性设置为False， 确保输出中文而不是其unicode编码
        super(CustomJsonLinesItemExporter, self).__init__(file, ensure_ascii=False, **kwargs)

---

Q：输出为csv文件时，Scrapy的CsvItemExporter输出的文件每行后面为何会多一行空行？
A：参考Stack Overflow

To fix this in Scrapy 1.3, you can patch it by adding newline=‘‘ as parameter to io.TextIOWrapper in the init method of the CsvItemExporter class in scrapy.exporters.