Scrapy在PyCharm里面运行,调试

Posted TaoHF

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy在PyCharm里面运行,调试相关的知识,希望对你有一定的参考价值。

 

 

首先通过csrapy shell命令创建一个scrapy项目。

 scrapy startproject projectname

会生成如下文件

 

进入spider_405文件夹

 

我们自己写的爬虫项目就放在spiders文件夹里面

 

 items.py是用来保存你爬取的数据的数据结构

 

 

 

在scrapy.cfg同目录下新建一个begin.py文件

 

 

 在begin.py中编辑内容如下,注意红框中是在spiders里面name的值

 

 

 

之后调试程序时,运行begin.py文件即可,调试信息会在run框中打印输出

 

以上是关于Scrapy在PyCharm里面运行,调试的主要内容,如果未能解决你的问题,请参考以下文章

使用 PyCharm 运行 scrapy - 调试有效,但运行无效

pycharm下运行和调试scrapy项目

PyCharm调试运行Scrapy教程

亲测——pycharm下运行第一个scrapy项目 ©seven_clear

如何使用 PyCharm 调试 Scrapy 项目

pycharm下虚拟环境执行并调试scrapy爬虫程序