Scrapy在PyCharm里面运行,调试
Posted TaoHF
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Scrapy在PyCharm里面运行,调试相关的知识,希望对你有一定的参考价值。
首先通过csrapy shell命令创建一个scrapy项目。
scrapy startproject projectname
会生成如下文件
进入spider_405文件夹
我们自己写的爬虫项目就放在spiders文件夹里面
items.py是用来保存你爬取的数据的数据结构
在scrapy.cfg同目录下新建一个begin.py文件
在begin.py中编辑内容如下,注意红框中是在spiders里面name的值
之后调试程序时,运行begin.py文件即可,调试信息会在run框中打印输出
以上是关于Scrapy在PyCharm里面运行,调试的主要内容,如果未能解决你的问题,请参考以下文章
使用 PyCharm 运行 scrapy - 调试有效,但运行无效