爬虫24-scrapy框架部署
Posted wcymiracle
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了爬虫24-scrapy框架部署相关的知识，希望对你有一定的参考价值。
1.安装scrapy框架：pip install scrapy
2.使用cmd窗口命令创建项目：
①进入要创建项目的路径
②scrapy startproject qsbk(项目名)
③pycharm下打开刚才创建的项目
④修改settings下的ROBOTSTXT_OBEY=False
⑤再添加下面DEFAULT_REQUEST_HEADERS添加headers信息
⑥指定项目名文件下的start_url信息，改成要爬取的网页
⑦项目名下添加start文件，就是执行代码的主文件，如下:
from scrapy import cmdline
cmdline.execute("scrapy crawl qsbk_spider".split())
⑧在QsbkSpiderSpider类中实现要爬取的功能
以上是关于爬虫24-scrapy框架部署的主要内容，如果未能解决你的问题，请参考以下文章