Crawlspider
Posted jnhnsnow
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Crawlspider相关的知识，希望对你有一定的参考价值。
Spider的一个子类，用于全站数据爬取
全站爬取：
1.基于Spider：手动请求发送
2.基于Crawlspider:
cralwspider使用：
创建工程
cdxxx
创建爬虫文件（crawlspider)：scrapy genspider -t crawl xxx www.xxx.com
链接提取器：提取链接 根据指定规则（allow="正则")进行指定链接的提取
规则解析器：
以上是关于Crawlspider的主要内容，如果未能解决你的问题，请参考以下文章