requests使用retry策略

Posted 2021-10-31 thomaszdxsn

• 在urllib3中使用retry
• 在requests中使用retry

网络请求往往会有很多不受控制的意外情况发生，有时候我们要让它let it crash，有时候我们想多尝试几次。

以前，使用retry策略，我一般会使用tenacity¹这个第三方库。这个库的API相当得漂亮，很多大V也推荐过。

最近，我看了一篇文章²，是requests的作者之一写的。他告诉我们，requests原生就支持retry。

在urllib3中使用retry

urllib3使用PoolManager，可以对特定的response设置retry。

比如，下面我们对500错误进行了retry：

from urllib3.util import Retry
from urllib3 import PoolManager

retries = Retry(total=5, status_forcelist=[500])
manager = PoolManager(retries=retries)
response = manager.request('GET', 'https://httpbin.org/status/500')

在requests中使用retry

from requests.packages.urllib3.util import Retry
from requests.adapters import HTTPAdapter
from requests import Session, exceptions

s = Session()
s.mount('https://', HTTPAdapter(
    max_retries=Retry(total=5, status_forcelist=[500])
    )
)

s.get('https://httpbin.org/status/500')

可以看到requests的API一贯的简洁。另外需要知道的是这里利用了requests的"传输适配器(Transport Adapter)"，如果你对这个不了解，请看这篇博客³.

---

1. Github: Tenacity ↩

2. Retries in Requests ↩

3. Writing A Transport Adapter ↩