python的http请求异步版本

Posted 2021-05-15 IE06

1. 基本方法multiprocessing

我们经常需要其多线程去调用服务（比如拉取远程图片、调用远程计算服务），常用的方式无非是使用multiprocessing+requests，例如：

from multiprocessing.dummy import Pool as ThreadPool
from tqdm import tqdm
import numpy as np
import os,json,requests,base64,struct
url = "http://****:19863/test" # 服务接口
uklist = ...
def getf(img):
    try:
        r = requests.post(url,...) # 请求体
        data = json.loads(r.text)['data'][0]
        return data
    except:
        1
results = []
with ThreadPool(100) as p:
    results = list(tqdm(p.imap(getf, urllist), total=num))

2. aiohttp

首先我们使用aiohttp创建请求。aiohttp简单来说就是requests的异步替代版。所谓异步请求，是指在单进程单线程的代码中，发起一次请求后，在等待网站返回结果的时间里，可以继续发送更多请求。

import aiohttp,asyncio

async def getf(imgList)
	async with aiohttp.ClientSession() as client: 
		for img in imgList:
			try:
				data = await client.post(url, ...)
				return data
			except:
				1
asyncio.run(getf())