Python3 scrapy 无法爬取下一页的问题

Posted passagain

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Python3 scrapy 无法爬取下一页的问题相关的知识，希望对你有一定的参考价值。

导致request失效的原因有两个，下面是解决方法

第一，更改代码 allowe_domains 内容

class XXSpider(scrapy.Spider):
    name = ‘xxspider‘
    allowed_domains = [‘www.xx.com‘]   #一定不要带有https://开头
    start_urls = [‘https://www.xx.com/xxxyyy/‘]

　　

第二，更改Request函数过滤器

yield scrapy.Request(next_url, call_back=self.parse, dont_filter=True) 
#增加代码，不过滤为真

　　

以上是关于Python3 scrapy 无法爬取下一页的问题的主要内容，如果未能解决你的问题，请参考以下文章