python3请求库aiohttp的使用安装教程

Posted zhi_neng

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python3请求库aiohttp的使用安装教程相关的知识,希望对你有一定的参考价值。

aiohttp 就是这样一个提供异步 Web服务的库,从Python3.5版本开始,Python中加入async/await关键字,使得回调的写法更加直观和人性化。aiohttp 的异步操作借助于 async/await 关键字的写法变得更加简洁,架构更加清晰。

而前面介绍的 request 库是一个阻塞式 HTTP 请求库,当我们发出一个请求后,程序会一直等待服务器响应,直到得到响应后,程序才会进行下一步处理。其实,这个过程比较耗费时间。如果程序可以在这个等待过程中做一些其他的事情,如进行请求的调度、响应的处理等,那么爬取效率一定会大大提高。

使用异步请求库aiohttp 进行数据抓取时,会大大提高效率,下面我们来看一下这个库的安装方法。

1.相关链接

官方文档:http:/aiohttp.readthedocs.io/en/stable

GitHub: https://github.com/aio-libs/aiohttp

PyPI: https://pypi.python.org/pypi/aiohttp

aiohttp代码下载


这里推荐使用pip安装,命令如下: pip3 install aiohttp

另外,官方还推荐安装如下两个库:一个是字符编码检测库 cchardet,另一个是加速 DNS 的解析库aiodns。安装命令如下:

 pip3 install cchardet aiodns

2. 测试安装

安装完成之后,可以在 Python 命令行下测试:

$ python3

>>>import aiohttp

如果没有错误报出,则证明库已经安装好了。

最后,我们会在后面的实例中用到这个库,比如维护一个代理池时,利用异步方式检测大量代理的运行状况,会极大地提升效率。 作者:Python指路人 https://www.bilibili.com/read/cv11853167 出处:bilibili

以上是关于python3请求库aiohttp的使用安装教程的主要内容,如果未能解决你的问题,请参考以下文章

python3请求库aiohttp的使用安装教程

[Python3网络爬虫开发实战] 1.2.6-aiohttp的安装

aiohttp的安装

python3下安装aiohttp遇到过的那些坑

最全面的python3请求库pyquery的安装教程

最全面的python3请求库pyquery的安装教程