aiohttp使用详解

Posted 2020-11-27 wukai66

aiohttp分为服务器端和客户端，本文只介绍客户端。
由于上下文的缘故，请求代码必须在一个异步的函数中进行：

async def fn():
pass
安装
pip install aiohttp

 

基本语法

async with aiohttp.request(‘GET‘,‘https://github.com‘) as r:
await r.text()

 

指定编码
await resp.text(encoding=‘windows-1251’)
适合读取图像等
await resp.read()

request案例
超时处理timeout
async with session.get(‘https://github.com‘, timeout=60) as r:

 

#使用示例, 进行一次请求

import aiohttp, asyncio

async def main():#aiohttp必须放在异步函数中使用
async with aiohttp.request(‘GET‘, ‘https://api.github.com/events‘) as resp:
json = await resp.json()
print(json)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

 

------------------------------------------------------------------------------
#使用示例，进行多次请求

import aiohttp, asyncio

async def main():#aiohttp必须放在异步函数中使用
tasks = []
[tasks.append(fetch(‘https://api.github.com/events?a={}‘.format(i))) for i in range(10)]#十次请求
await asyncio.wait(tasks)

async def fetch(url):
async with aiohttp.request(‘GET‘, url) as resp:
json = await resp.json()
print(json) 

loop = asyncio.get_event_loop()
loop.run_until_complete(main())
------------------------------------------------------------------------------

 

#使用示例，进行多次请求，并限制同时请求的数量

import aiohttp, asyncio

async def main(pool):#aiohttp必须放在异步函数中使用
tasks = []
sem = asyncio.Semaphore(pool)#限制同时请求的数量
[tasks.append(control_sem(sem, ‘https://api.github.com/events?a={}‘.format(i))) for i in range(10)]#十次请求
await asyncio.wait(tasks)

async def control_sem(sem, url):#限制信号量
async with sem:
await fetch(url)

async def fetch(url):
async with aiohttp.request(‘GET‘, url) as resp:
json = await resp.json()
print(json) 

loop = asyncio.get_event_loop()
loop.run_until_complete(main(pool=2))

 

上面的示例中可以正确的使用协程进行请求，但是由于aiohttp自身的原因会报 Unclosed client session 的警告。官方不推荐使用aiohttp.request的方式请求，可以将 aiohttp.request 换成 

aiohttp.ClientSession(**kw).request的方式即可

session
import aiohttp
async with aiohttp.ClientSession() as session:
async with session.get(‘https://api.github.com/events‘) as resp:
print(resp.status)
print(await resp.text())

 

我们创建了一个 ClientSession 对象命名为session，然后通过session的get方法得到一个 ClientResponse 对象，命名为resp，get方法中传入了一个必须的参数url，就是要获得源码的http url。至此便通过协程完成了一个异步IO的get请求。
带参数

session.post(‘http://httpbin.org/post‘, data=b‘data‘)
session.put(‘http://httpbin.org/put‘, data=b‘data‘)
session.delete(‘http://httpbin.org/delete‘)
session.head(‘http://httpbin.org/get‘)
session.options(‘http://httpbin.org/get‘)
session.patch(‘http://httpbin.org/patch‘, data=b‘data‘)

 

不要为每次的连接都创建一次session,一般情况下只需要创建一个session，然后使用这个session执行所有的请求。

每个session对象，内部包含了一个连接池，并且将会保持连接和连接复用（默认开启）可以加快整体的性能。

#使用示例

import aiohttp, asyncio

async def main(pool):#启动
sem = asyncio.Semaphore(pool)
async with aiohttp.ClientSession() as session:#给所有的请求，创建同一个session
tasks = []
[tasks.append(control_sem(sem, ‘https://api.github.com/events?a={}‘.format(i), session)) for i in range(10)]#十次请求
await asyncio.wait(tasks)

async def control_sem(sem, url, session):#限制信号量
async with sem:
await fetch(url, session)

async def fetch(url, session):#开启异步请求
async with session.get(url) as resp:
json = await resp.json()
print(json)

loop = asyncio.get_event_loop()
loop.run_until_complete(main(pool=2))

 

URL传参数

params = {‘key1‘: ‘value1‘, ‘key2‘: ‘value2‘}
# params = [(‘key‘, ‘value1‘), (‘key‘, ‘value2‘)]
async with session.get(‘http://httpbin.org/get‘,params=params) as resp:
assert resp.url ==‘http://httpbin.org/getkey2=value2&key1=value1‘

 

请求头

import json
url = ‘https://api.github.com/some/endpoint‘
payload = {‘some‘: ‘data‘}
headers = {‘content-type‘: ‘application/json‘}

await session.post(url,
data=json.dumps(payload),
headers=headers)

响应

assert resp.status == 200
resp.headers

await resp.text()
await resp.text(encoding=‘gb2312’)
await resp.read()
await resp.json()
await resp.content.read(10) #读取前10个字节

 

文件保存

with open(filename, ‘wb’) as fd:
while True:
chunk = await resp.content.read(chunk_size)
if not chunk:
break
fd.write(chunk)

cookie
url = ‘http://httpbin.org/cookies‘
cookies = {‘cookies_are‘: ‘working‘}
async with ClientSession(cookies=cookies) as session:
async with session.get(url) as resp:
assert await resp.json() == {
"cookies": {"cookies_are": "working"}}

 

POST
表单

payload = {‘key1‘: ‘value1‘, ‘key2‘: ‘value2‘}
async with session.post(‘http://httpbin.org/post‘,
data=payload) as resp:
print(await resp.text())

json

import json
url = ‘https://api.github.com/some/endpoint‘
payload = {‘some‘: ‘data‘}

async with session.post(url, data=json.dumps(payload)) as resp:
...

 

小文件

url = ‘http://httpbin.org/post‘
files = {‘file‘: open(‘report.xls‘, ‘rb‘)}
await session.post(url, data=files)

设置好文件名、content-type

url = ‘http://httpbin.org/post‘
data = FormData()
data.add_field(‘file‘,
open(‘report.xls‘, ‘rb‘),
filename=‘report.xls‘,
content_type=‘application/vnd.ms-excel‘)

await session.post(url, data=data)

 

大文件

keep-alive, 连接池，共享cookie
cookie安全性
默认ClientSession使用的是严格模式的 aiohttp.CookieJar. RFC 2109，明确的禁止接受url和ip地址产生的cookie，只能接受 DNS 解析IP产生的cookie。可以通过设置aiohttp.CookieJar 的 unsafe=True 来配置

jar = aiohttp.CookieJar(unsafe=True)
session = aiohttp.ClientSession(cookie_jar=jar)

 

同时连接数量
同时请求数量
conn = aiohttp.TCPConnector(limit=30)#同时最大进行连接的连接数为30，默认是100，limit=0的时候是无限制
同一端口连接数量
conn = aiohttp.TCPConnector(limit_per_host=30)#默认是0

 

自定义域名解析
自己指定域名解析

from aiohttp.resolver import AsyncResolver

resolver = AsyncResolver(nameservers=["8.8.8.8", "8.8.4.4"])
conn = aiohttp.TCPConnector(resolver=resolver)

 

代理
普通代理

async with aiohttp.ClientSession() as session:
async with session.get("http://python.org",
proxy="http://some.proxy.com") as resp:
print(resp.status)

验证代理

async with aiohttp.ClientSession() as session:
proxy_auth = aiohttp.BasicAuth(‘user‘, ‘pass‘)
async with session.get("http://python.org",
proxy="http://some.proxy.com",
proxy_auth=proxy_auth) as resp:
print(resp.status)

 

或者

session.get("http://python.org",
proxy="http://user:[e-mail]")