Python3 scrapy 无法爬取下一页的问题

Posted 2021-11-27 passagain

导致request失效的原因有两个，下面是解决方法

第一，更改代码 allowe_domains 内容

class XXSpider(scrapy.Spider):
    name = ‘xxspider‘
    allowed_domains = [‘www.xx.com‘]   #一定不要带有https://开头
    start_urls = [‘https://www.xx.com/xxxyyy/‘]

　　

第二，更改Request函数过滤器

yield scrapy.Request(next_url, call_back=self.parse, dont_filter=True) 
#增加代码，不过滤为真