Scrapy框架终端存储指令输出空文件?

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy框架终端存储指令输出空文件?相关的知识,希望对你有一定的参考价值。

代码如下。
Scrapy crawl -o指令能输出csv文件,但是为空。
去掉if语句块,保留return 输出正常。
请问如何解决。什么原理?

参考技术A 因为page_num<=7所以执行了if的前半句,else后边的语句就不执行了啊

12. scrapy 框架持续化存储

一、 基于终端指令的持久化存储

  • 保证爬虫文件的parse方法中有可迭代类型对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作
   执行输出指定格式进行存储:将爬取到的数据写入不同格式的文件中进行存储:
      scrapy crawl 爬虫名称 -o xxx.json
      scrapy crawl 爬虫名称 -o xxx.xml
      scrapy crawl 爬虫名称 -o xxx.csv

示例:


以上是关于Scrapy框架终端存储指令输出空文件?的主要内容,如果未能解决你的问题,请参考以下文章

(六--二)scrapy框架之持久化操作

12. scrapy 框架持续化存储

python网络爬虫——scrapy框架持久化存储

scrapy框架之持久化操作

scrapy 框架持久化存储

Scrapy框架持久化存储 򏪕