即使通过代理连接失败，如何重试当前循环

Posted 2021-03-30

所以我想要废弃一堆链接，但经常发生的是在循环中间（当试图连接到随机链接时），突然通过代理连接失败，循环停止而我的程序结束。

这是代码：

import requests
from bs4 import BeautifulSoup as soup


#Setting Proxy
proxies = {"http": "http://232.454.676.898:8888"}

#List Of Links
link_strings = ['http://foo1.com','http://foo2.com','http://foo3.com', ... ,'http://foo999.com']

for link in link_strings:
    url = link

    uClient = requests.get(url, proxies=proxies)
    page_html = uClient.text
    uClient.close()

    page_soup = soup(page_html, "html.parser")

    #Do some scrapping

那么，如何处理呢？ 我应该尝试连接到代理直到成功吗？但是怎么做呢？ 或者我应该再次运行当前循环？但是怎么做呢？

答案

尝试捕获requests.get()抛出的异常并循环，直到连接工作：

exception = True
while (exception):
    exception = False
    try:
        uClient = requests.get(url, proxies=proxies)
    except requests.exceptions.RequestException as e:
        exception = True

请注意，如果连接永远不起作用，这可能会创建无限循环！相反，你可以在连接失败时使用continue：

try:
    uClient = requests.get(url, proxies=proxies)
except requests.exceptions.RequestException as e:
    continue