将用两个规则替换预定义的规则变量,一个用于水平,一个用于垂直爬
rules = ( Rule(LinkExtractor(restrict_xpaths=‘//*[contains(@class,"next")]‘)), Rule(LinkExtractor(restrict_xpaths=‘//*[@itemprop="url"]‘), callback=‘parse_item‘) )
Posted 不可叽叽歪歪
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了CrawlSpider相关的知识,希望对你有一定的参考价值。
将用两个规则替换预定义的规则变量,一个用于水平,一个用于垂直爬
rules = ( Rule(LinkExtractor(restrict_xpaths=‘//*[contains(@class,"next")]‘)), Rule(LinkExtractor(restrict_xpaths=‘//*[@itemprop="url"]‘), callback=‘parse_item‘) )
以上是关于CrawlSpider的主要内容,如果未能解决你的问题,请参考以下文章