python 异步 I/O

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python 异步 I/O相关的知识,希望对你有一定的参考价值。

如果你想了解异步编程,那么必然会涉及出许多相关概念。

  • 堵塞/非堵塞
  • 同步/异步
  • 多进程/多线程/协程

为什么我要学习这个话,因为我想搞懂异步框架和异步接口的调用。所以,我的学习路线是这样的:

1.python异步编程
2.python Web异步框架(tornado/sanic)
3.异步接口调用(aiohttp/httpx)

那么异步编程有什么好处?在某些场景下它可以提高性能。我们知道CPU的速度快于磁盘、网络等IO。一旦遇到IO操作,如读写文件、发送网络数据时,就需要等待IO操作完成,才能进行下一步操作。这种情况称为同步IO。我们可以使用多线程来解决这类问题,另一种方式是通过异步。

python在3.4版本引入asyncio,到 3.5版本又加入async/await来简化异步的使用。

先来举个简单的例子,假如,你和女朋友逛街。你的目的是去看新上市的华为P40手机,而你女朋友是去看新款的衣服。你们的逛街流程是这样的。

import time


def clothes_shop():
    print("女朋友看衣服..")
    time.sleep(8)
    print("...出来了")


def huawei_shop():
    print("体验手机..")
    time.sleep(5)
    print("...出来了")

print(time.ctime(), "开始逛街")
clothes_shop()
huawei_shop()
print(time.ctime(), "结束.")

运行结果:

Thu Apr 16 00:08:22 2020 开始逛街
女朋友看衣服..
...出来了
体验手机..
...出来了
Thu Apr 16 00:08:35 2020 结束.

假设单位是分钟,你们总共耗时13分钟。

接下来,看看用异步是如何处理的:

import asyncio
import time


async def shop(delay, what):
    print(what)
    await asyncio.sleep(delay)
    print("...出来了")


async def main():
    task1 = asyncio.create_task(shop(8, ‘女朋友看衣服..‘))
    task2 = asyncio.create_task(shop(5, ‘体验手机..‘))

    print(time.ctime(), "开始逛街")
    await task1
    await task2
    print(time.ctime(), "结束.")


asyncio.run(main())

通过 async/await 语法进行声明,是编写 asyncio 应用的推荐方式。

  • async 声明一个函数为异步函数。
  • await 声明处理比较耗费时的动作。
  • asyncio.run() 函数用来运行最高层级的入口点 main() 函数。
  • asyncio.create_task() 函数用来并发运行作为 asyncio 任务 的多个协程。

其实,思路非常简单,就是你和女朋友各逛各自的,先出来的等等对方。

严重警告!提醒广大直男,现实生活中千万不要这么思考问题。一定要陪女朋友一起看衣服,还要主动去付钱。

来看看运行结果:

Thu Apr 16 00:19:19 2020 开始逛街
女朋友看衣服..
体验手机..
...出来了
...出来了
Thu Apr 16 00:19:27 2020 结束.

假设单位是分钟,只需要8分钟搞定。

通过上面的例子,可以看到 task1、task2仍然有前后顺序,这种前后顺序的时间可以忽略不计。但是,我们也是可以使用asyncio.gather()方法并发运行任务。

#……

async def main():
    print(time.ctime(), "开始逛街")
    await asyncio.gather(
        shop(8, ‘女朋友看衣服..‘),
        shop(5, ‘体验手机..‘)
    )
    print(time.ctime(), "结束.")

asyncio.run(main())

运行结果同上,这里就不再贴了。

参考:https://docs.python.org/zh-cn/3/library/asyncio.html

以上是关于python 异步 I/O的主要内容,如果未能解决你的问题,请参考以下文章

python 异步 I/O

Python线程,进程,携程,I/O同步,异步

Python开发第十章:I/O多路复用异步I/O(综合篇)

Elasticsearch: Python 客户端现在支持异步 I/O

Elasticsearch: Python 客户端现在支持异步 I/O

asyncio 是不是支持文件操作的异步 I/O?