使用requests爬取报错“Max retries exceeded with url“的解决方法

Posted Code皮皮虾

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用requests爬取报错“Max retries exceeded with url“的解决方法相关的知识,希望对你有一定的参考价值。

某次在写爬虫时,运行之后报错

requests.exceptions.ProxyError:
HTTPSConnectionPool(host=‘xxx.xxx.xxx’, port=443):
Max retries exceeded with url: xxxxxxx (Caused by ProxyError
(‘Cannot connect to proxy.’, NewConnectionError(’<urllib3.connection.HTTPSConnection object at 0x000001EF209B1D30>: Failed to establish a new connection: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。’)))

原因:

  1. http连接太多没有关闭导致的
  2. 可能是访问过于频繁,使用IP代理即可

使用IP代理参考以下文章
Python爬虫避坑IP代理教程避坑(reuqests和selenium的ip代理)

解决办法

1、增加重试连接次数
requests.DEFAULT_RETRIES = 5
s = requests.session()
2、关闭多余的连接
s.keep_alive = False

requests使用了urllib3库,默认的http connection是keep-alive的,requests设置False关闭。

如果对大家有帮助,可以点赞关注和收藏一下哦,谢谢各位!

更多博主开源爬虫教程目录索引

以上是关于使用requests爬取报错“Max retries exceeded with url“的解决方法的主要内容,如果未能解决你的问题,请参考以下文章

git pull拉取报错

getReportOnWeb 取报表数据 (取综合报价单)

Python 爬虫篇 - 通过urllib.request伪装成浏览器绕过反爬虫爬取网页所有连接实例演示,urllib2库的安装

使用Scrapy编写爬虫程序中遇到的问题及解决方案记录

钻取报表

[实战演练]python3使用requests模块爬取页面内容