CrawlSpider

Posted 2020-10-17 不可叽叽歪歪

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了CrawlSpider相关的知识，希望对你有一定的参考价值。

将用两个规则替换预定义的规则变量，一个用于水平，一个用于垂直爬

rules = (
Rule(LinkExtractor(restrict_xpaths=‘//*[contains(@class,"next")]‘)), Rule(LinkExtractor(restrict_xpaths=‘//*[@itemprop="url"]‘),
callback=‘parse_item‘)
)

以上是关于CrawlSpider的主要内容，如果未能解决你的问题，请参考以下文章