aiohttp 异步http请求-1.快速入门 get 请求示例

Posted 上海-悠悠

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了aiohttp 异步http请求-1.快速入门 get 请求示例相关的知识,希望对你有一定的参考价值。

前言

在 python 的众多 http 请求库中,大家最熟悉的就是 requests 库了,requests 库上手非常容易,适合入门学习。
如果平常工作中对发请求不追求效率和并发的情况下,requests 完全可以满足大部分需求。但是想发大量的请求,比如几万个请求的时候,可能需要等待几个小时,requests 库就不能满足需求了。
初学者建议先学习requests 库,熟练掌握requests 库才能更好的学习 aiohttp 异步框架。

同步与异步

requests只能发送同步请求,aiohttp只能发送异步请求。
所谓的同步请求,是指在单进程单线程的代码中,发起一次请求后,在收到返回结果之前,不能发起下一次请求。
所谓异步请求,是指在单进程单线程的代码中,发起一次请求后,在等待网站返回结果的时间里,可以继续发送更多请求。

在前面一篇中有讲到python asyncio 异步 I/O - 实现并发http请求(asyncio + aiohttp)
如果使用requests 库,发10个请求访问我的博客,那么这10个请求是串行的。

import requests
import time

url = "https://www.cnblogs.com/yoyoketang/"

start_time = time.time()
for i in range(10):
    r = requests.get(url)
    print(r)
print('总耗时:', time.time()-start_time)

我们想实现并发请求需用到 异步http 库 aiohttp。

环境准备

首先,确保 aiohttp 已安装,为了更好的学习 aiohttp 的功能,建议大家使用python3.7+版本, 我用的是python3.8版本

pip install aiohttp==3.8.1

或者在 pycharm 中安装

简单get 请求实现

首先导入 aiohttp 模块和 asyncio

import aiohttp
import asyncio

现在,让我们尝试获取一个网页。例如让我们查询 http://httpbin.org/get

import aiohttp
import asyncio


async def main():
    async with aiohttp.ClientSession() as session:
        async with session.get('http://httpbin.org/get') as resp:
            print(resp.status)
            print(await resp.text())


# asyncio.run(main()) # 会报错,改成下面2句
loop = asyncio.get_event_loop()
loop.run_until_complete(main())

运行结果

200

  "args": , 
  "headers": 
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "Python/3.8 aiohttp/3.8.1", 
    "X-Amzn-Trace-Id": "Root=1-625ed4ea-5f44f6163dc3521845687df1"
  , 
  "origin": "183.193.27.228", 
  "url": "http://httpbin.org/get"

上面代码解释:

  • aiohttp.ClientSession() 是创建客户端session会话对象
  • resp 是返回的response对象
  • session.get 发get请求
  • resp.status 获取返回对象状态码
  • resp.text() 返回文本对象

前面是get请求示例,发一个 post 请求示例如下

session.post('http://httpbin.org/post', data=b'data')

其他 HTTP 方法也可用:

session.put('http://httpbin.org/put', data=b'data')
session.delete('http://httpbin.org/delete')
session.head('http://httpbin.org/get')
session.options('http://httpbin.org/get')
session.patch('http://httpbin.org/patch', data=b'data')

为了使对同一个站点的多个请求更简单,可以使用构造函数的参数base_url ,例如请求不同的端点 http://httpbin.org 可以使用以下代码:

import aiohttp
import asyncio


async def main():
    async with aiohttp.ClientSession('http://httpbin.org') as session:
        async with session.get('/get') as resp1:
            print(resp1.status)
        async with session.post('/post', data=b'data') as resp2:
            print(resp2.status)
        async with session.put('/put', data=b'data') as resp3:
            print(resp3.status)

# asyncio.run(main()) # 会报错,改成下面2句
loop = asyncio.get_event_loop()
loop.run_until_complete(main())

笔记

不要为每个请求创建会话。尽可能在每个应用程序中使用一个会话执行所有的请求。
更复杂的情况可能需要每个站点一个会话,例如一个用于 Github,另一个用于 Facebook API。无论如何,为每个请求创建一个会话是一个非常糟糕的主意。
会话内部包含一个连接池。连接重用和保持活动(默认情况下都打开)可以提高整体性能。

会话上下文管理器的使用不是强制性的,但在这种情况下应该调用方法,例如:await session.close()

session = aiohttp.ClientSession()
async with session.get('...'):
    # ...
await session.close()

在 URL 中传递参数

当url中带请求参数时,如http://httpbin.org/get?key1=value1&key2=value2,在url中问号后面的参数可以单独拿出来用键值对保存,使用 params关键字参数将这些参数作为 提供

import aiohttp
import asyncio


async def main():
    async with aiohttp.ClientSession() as session:
        params = 'key1': 'value1', 'key2': 'value2'
        async with session.get('http://httpbin.org/get', params=params) as resp:
            expect = 'http://httpbin.org/get?key1=value1&key2=value2'
            print(resp.url)
            assert str(resp.url) == expect


loop = asyncio.get_event_loop()
loop.run_until_complete(main())

运行打印结果:http://httpbin.org/get?key1=value1&key2=value2,通过打印 URL,您可以看到 URL 已正确编码。

如果同一个key有多个值的时候,如:http://httpbin.org/get?key1=value1&key2=value2&key2=value3,其中key2对应的值有2个value2和value3。
那么在传值的时候,可以把多个值放到一个list,如

params = 
            'key1': 'value1',
            'key2': ['value2', 'value3']
        

也可以使用列表嵌套元祖

params = [
            ('key1', 'value1'),
            ('key2', 'value2'),
            ('key2', 'value3')
        ]

也可以把字符串内容作为参数传递, 如params='key=value+1&key2=value2'.

        async with session.get('http://httpbin.org/get',
                               params='key=value+1&key2=value2') as r:
            print(r.url)
            assert str(r.url) == 'http://httpbin.org/get?key=value+1&key2=value2'

但是这样会有弊端,+号这种特殊字符没转码成urlencoded格式%2B,所以这种方式尽量不用,以下是官方文档把字符串内容作为参数传递的说明。

也可以把参数直接传到url上,如http://httpbin.org/get?key1=value1&key2=value2

import aiohttp
import asyncio


async def main():
    async with aiohttp.ClientSession() as session:
        async with session.get('http://httpbin.org/get?key1=value1&key2=value2') as resp:
            print(resp.url)


loop = asyncio.get_event_loop()
loop.run_until_complete(main())

当请求参数带有中文的时候

params = 
            'key1': 'value1',
            'key2': '上海-悠悠'
        

它会自动帮我们转成urlencode编码http://httpbin.org/get?key1=value1&key2=%E4%B8%8A%E6%B5%B7-%E6%82%A0%E6%82%A0

async def main():
    async with aiohttp.ClientSession() as session:
        params = 
            'key1': 'value1',
            'key2': '上海-悠悠'
        
        async with session.get('http://httpbin.org/get', params=params) as resp:
            print(resp.url)

响应内容和状态码

我们可以读取服务器响应的内容及其状态码

import aiohttp
import asyncio


async def main():
    async with aiohttp.ClientSession() as session:
        async with session.get('https://www.cnblogs.com/yoyoketang/') as resp:
            print(resp.url)
            print(await resp.text(encoding='utf-8'))
   
loop = asyncio.get_event_loop()
loop.run_until_complete(main())

打印出内容:

https://www.cnblogs.com/yoyoketang/
<!DOCTYPE html>
<html lang="zh-cn">
<head>
    <meta charset="utf-8" />
    <meta name="viewport" content="width=device-width, initial-scale=1.0" />
    <meta name="referrer" content="origin-when-crossorigin" />
    
    
    <meta http-equiv="Cache-Control" content="no-transform" />
    <meta http-equiv="Cache-Control" content="no-siteapp" />
    <meta http-equiv="X-UA-Compatible" content="IE=edge" />
    <title>上海-悠悠 - 博客园</title>

aiohttp自动解码来自服务器的内容。您可以为该text()方法指定自定义编码:

resp.text(encoding='utf-8')

也可以获取byte响应内容

print(await resp.read())

打印结果

b'<!DOCTYPE html>\\n<html lang="zh-cn">\\n<head>\\n    <meta charset="utf-8" />\\n  ...'

以上是关于aiohttp 异步http请求-1.快速入门 get 请求示例的主要内容,如果未能解决你的问题,请参考以下文章

aiohttp 异步http请求-12.aiohttp 请求生命周期(和requests库有什么不一样?)

python asyncio 异步 I/O - 实现并发http请求(asyncio + aiohttp)

aiohttp 异步http请求-3.异步批量下载图片

aiohttp 异步http请求-7.https请求报SSL问题

aiohttp 异步http请求-6.ClientTimeout 整个会话超时

aiohttp 异步http请求-2.post 请求application/json和application/x-www-form-urlencode