爬虫(scrapy中调试文件)

Posted Sip

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫(scrapy中调试文件)相关的知识,希望对你有一定的参考价值。

在项目setting同级目录下创建py文件,代码如下:

from scrapy.cmdline import execute
import sys
import os

sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy","crawl","bole_articles"])

调试运行该文件即可

以上是关于爬虫(scrapy中调试文件)的主要内容,如果未能解决你的问题,请参考以下文章

scrapy主动退出爬虫的代码片段(python3)

python scrapy 调试模式

scrapy框架--新建调试的main.py文件

python网络爬虫之scrapy 调试以及爬取网页

pycharm下虚拟环境执行并调试scrapy爬虫程序

scrapy爬虫-1-初试页面抓取