HTTPConnectionPool(host='xx.xx.xx.xx', port=xx): Max retries exceeded with url:(Caused by Co

Posted 2021-01-03 beyondtechnology

HTTPConnectionPool(host=‘xx.xx.xx.xx‘, port=xx): Max retries exceeded with url:(Caused by ConnectTimeoutError(<urllib3.connection.HTTPConnection object at 0x0000015A25025EB8>, ‘Connection to xx.xx.xx.xx timed out. (connect timeout=10)‘))

网查说是http连接太多没有关闭导致的

解决办法：

1、增加重试连接次数

requests.adapters.DEFAULT_RETRIES = 5

2、关闭多余的连接

requests使用了urllib3库，默认的http connection是keep-alive的，requests设置False关闭。

s = requests.session()

s.keep_alive = False

 

网搜的解决方案，我的代码在for循环里不断post url，的确是打开了很多连接没关闭。

不知道是不是这个原因，加上上述3行代码之后，代码跑完了。

除上述改动外，timeout由原来的10改为了30。

 

还有另外一种说法是在上述3行代码基础上再挂代理，代理设置一下proxies参数即可，不贴代码了。

不过没有尝试，可用的免费代理比较少，效率会非常低，不管有用否，不尝试了。

 

unfortunately，第二次再跑又报如下错误:

HTTPConnectionPool(host=‘‘xx.xx.xx.xx‘, port=xx): Max retries exceeded with url: (Caused by NewConnectionError(‘<urllib3.connection.HTTPConnection object at 0x00000237EE44EF98>: Failed to establish a new connection: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反 应，连接尝试失败。‘,))

 

太晚了，先睡了，回头再说吧。