如何在Wing IDE中调试scrapy

Posted 2023-03-21

参考技术A 如何在Wing IDE中调试scrapy

用scrapy startproject
YourProjectName
创建项目后，在项目根目录添加一个main.py文件，作为项目启动文件容：

from scrapy.cmdline import execute

execute()

然后单击main.py右键-->File Attribute-->Debug->Run Arugments 输
问题三
入命令参数

scrapy中如何使用代理服务器

在main.py的File Attribute--Environment- Add to Project values

中添加 http_proxy=127.0.0.1:8081 （使用sougou浏览器做代理） 参考技术B 用scrapy startproject YourProjectName 创建项目后，在项目根目录添加一个main.py文件，作为项目启动文件容：

from scrapy.cmdline import execute
execute()

然后单击main.py右键-->File Attribute-->Debug->Run Arugments 输 问题三 入命令参数

使用pycharm运行调试scrapy

摘要 Scrapy是爬虫抓取框架，Pycharm是强大的python的IDE，为了方便使用需要在PyCharm对scrapy程序进行调试 python PyCharm Scrapy 

scrapy指令其实就是一个python的运行脚本

pyCharm是一个强大的pythonIDE

在运行scrapy库时，其实是相当于运行一个python脚本：

#!/usr/bin/python

from scrapy.cmdline import execute

execute()

所以当运行scrapy crawler spider时，其实与指令：

  python /Library/Python/2.7/site-packages/scrapy/cmdline.py crawl spider

的效果是一样的

这样只需要在pycharm中的Run下Edit Configurations...中做运行配置即可：

 

 

Name

可以随便填

点击ok后，在你的项目中设置断点或者直接运行，即可调试该项目了

个人配置实例:

 转载: http://www.07net01.com/2015/08/904875.html