scrapy爬虫返回302，301，解决方法

Posted 2021-02-11 s5vc

def demo():

    headers = {‘Accept‘:‘xxxx‘,
           ‘Accept-Encoding‘:‘xxxx‘,
           ‘Accept-Language‘:‘xxxx‘,
           ‘Connection‘:‘xxxx‘,
           ‘Host‘:‘xxxx‘,
           ‘Upgrade-Insecure-Requests‘:‘x‘,
           ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/55.0.2883.87 Safari/537.36‘}

    url = ‘https:xxxxx.com‘
    html = requests.get(url, headers=headers, allow_redirects=False)
    return html.headers[‘Location‘]

　　allow_redirects=False的意义为拒绝默认的301/302重定向从而可以通过html.headers[‘Location’]拿到重定向的URL。

 

这是scrapy中解决问题方法1：

在yield里面加上dont_filter=True，解决了这个问题，dont_filter的意思是，如果已经爬取过得url，也就是没有出现问题的url，

自然而然出现问题的url将会再次被传递，这样也就解决了重定向问题。

yield scrapy.Request(url=listUrl[i],callback=self.get_content,meta={‘item‘:item},method=‘GET‘,dont_filter=True)

 

有时候爬取图片获取不到，返回302，我们可以在配置文件settings.py

里面修改重定向：如下：

值加这一行代码：

MEDIA_ALLOW_REDIRECTS =True

ITEM_PIPELINES = {
   ‘scrapy.pipelines.images.ImagesPipeline‘:1,
   ‘Moni.pipelines.MoniPipeline‘: 300,
}

MEDIA_ALLOW_REDIRECTS =True    # 只有这一行代码，其他的是为了方便查找，加上这一行基本上就能解决了
IMAGES_STORE = ‘./images‘