Scrapy网络爬虫框架的开发使用
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Scrapy网络爬虫框架的开发使用相关的知识，希望对你有一定的参考价值。
1.安装
2.使用scrapy startproject project_name 命令创建scrapy项目
如图：
3.根据提示使用scrapy genspider spider_name domain_url 创建一个spider程序
如图：
注意spider_name 不能和project_name 同名；可以采用关键字加_spider的方式命名spider_name
4. 使用scrapy list命令查看所有的spider程序名称，及使用scrapy --help查看命令列表
5. 使用scrapy shell url 调试selector
以上是关于Scrapy网络爬虫框架的开发使用的主要内容，如果未能解决你的问题，请参考以下文章
爬虫学习 16.Python网络爬虫之Scrapy框架（CrawlSpider）