Python - 在 asyncio 中运行函数的正确方法是啥?

Posted

技术标签:

【中文标题】Python - 在 asyncio 中运行函数的正确方法是啥?【英文标题】:Python - What is the right way to run functions in asyncio?Python - 在 asyncio 中运行函数的正确方法是什么? 【发布时间】:2020-07-06 21:57:42 【问题描述】:

我正在使用 FastApi 并且有一个端点。

我有两个长时间运行的函数,我想使用 asyncio 同时运行它们

因此,我创建了两个函数:

async def get_data_one():
    return 'done_one'

async def get_data_two():
    return 'done_two'

这些函数从外部网络服务获取数据。

我想同时执行它们,所以我创建了另一个函数来执行它:

async def get_data():
    loop = asyncio.get_event_loop()
    asyncio.set_event_loop(loop)
    task_1 = loop.create_task(get_data_one)
    task_2 = loop.create_task(get_data_two)
    tasks = (task_1, task_2)
    first, second = loop.run_until_complete(asyncio.gather(*tasks))
    loop.close()

    # I will then perform cpu intensive computation on the results
    # for now - assume i am just concatenating the results
    return first + second

最后,我有我的端点:

@app.post("/result")
async def get_result_async():
    r = await get_data()

    return r

即使是这个简单的例子也中断了,当我到达端点时,我得到了以下异常:

RuntimeError:此事件循环已在运行 错误:从未检索到_GatheringFuture 异常 未来:<_gatheringfuture> AttributeError: 'function' 对象没有属性 'send'

这是一个简化的代码,但我真的很感激如何以正确的方式来做。

【问题讨论】:

【参考方案1】:

在 FastAPI 上下文中,您永远不需要运行异步循环;只要您的服务器进程存在,它就会一直运行。

因此,您只需要

import asyncio


async def get_data_one():
    return "done_one"


async def get_data_two():
    return "done_two"


async def get_data():
    a, b = await asyncio.gather(get_data_one(), get_data_two())
    return a + b


#@route decorator here...
async def get_result_async():
    r = await get_data()
    print("Get_data said:", r)
    return r


# (this is approximately what is done under the hood,
#  presented here to make this a self-contained example)
asyncio.run(get_result_async())

【讨论】:

我是否需要在 get_data 函数中锁定任何数据?或者异步将在其自己的“容器”中运行每个请求,我无需担心使代码异步/线程安全? 它们不是独立运行的——如果你有全局状态,你需要像处理线程一样处理它。【参考方案2】:

很简单:

async def get_data():
    first, second = await asyncio.gather(
        get_data_one(),
        get_data_two(),
    )

    return first + second

【讨论】:

以上是关于Python - 在 asyncio 中运行函数的正确方法是啥?的主要内容,如果未能解决你的问题,请参考以下文章

如何使用 asyncio 在 Python 3 中异步运行 requests.get?

如何使用 python 的 asyncio 模块正确创建和运行并发任务?

Python 的 asyncio.gather() 似乎没有异步运行任务

在Python中使用Asyncio系统(3-4)​Task 和 Future

[Python 多线程] asyncio (十六)

异步等待函数中的 Python asyncio.semaphore