CrawlSpider

Posted 不可叽叽歪歪

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了CrawlSpider相关的知识,希望对你有一定的参考价值。

用两个规则替换预定义的规则变量,一个用于水平,一个用于垂直爬

rules = (
Rule(LinkExtractor(restrict_xpaths=//*[contains(@class,"next")])), Rule(LinkExtractor(restrict_xpaths=//*[@itemprop="url"]),
callback=parse_item)
)

 

以上是关于CrawlSpider的主要内容,如果未能解决你的问题,请参考以下文章

Scrapy:CrawlSpider的使用

python爬虫入门Scrapy框架之CrawlSpider类

CrawlSpider一直无法进入回调函数

Scrapy框架CrawlSpider类爬虫实例

crawlspider

基于scrapy中---全站爬取数据----CrawlSpider的使用