Scrapy框架终端存储指令输出空文件?
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy框架终端存储指令输出空文件?相关的知识,希望对你有一定的参考价值。
代码如下。
Scrapy crawl -o指令能输出csv文件,但是为空。
去掉if语句块,保留return 输出正常。
请问如何解决。什么原理?
12. scrapy 框架持续化存储
一、 基于终端指令的持久化存储
- 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作
执行输出指定格式进行存储:将爬取到的数据写入不同格式的文件中进行存储:
scrapy crawl 爬虫名称 -o xxx.json
scrapy crawl 爬虫名称 -o xxx.xml
scrapy crawl 爬虫名称 -o xxx.csv
示例:
以上是关于Scrapy框架终端存储指令输出空文件?的主要内容,如果未能解决你的问题,请参考以下文章