Python基于gevent 轻松实现百万级并发

Posted 2022-05-11 Xavier Jiezou

引言

因为研究需要，最近在研究 Python 的异步编程。Python 内置的标准库 asyncio 初次体验感觉很复杂，并且不支持同步编写第三方库，比如 requests。虽然有一个内置的名为 asyncio 的异步库但是又得重新学习接口。

好在笔者发现了一个非常好用的第三方库 gevent，该库可以轻松实现基于协程的并发，而无需修改原来的同步代码。你仅仅需要将同步编写的函数使用 gevent 进行封装，就能实现用户级别的显式任务调度。

方法

简单设计一个模拟实验测试 gevent 的并发效果。使用 time.sleep(0.1) 模拟任务用时，即 CPU 休眠 0.1 秒；任务总数设置为 100 万。并将任务封装为一个函数，以便调用。

实验

环境

系统	CPU型号	主频	单个CPU核心数	CPU数量
Linux	Intel® Xeon® Gold 6242	2.80GHz	16	2颗

结果

类型	耗时
同步	10万秒以上（理论耗时）
多线程	3142.17秒（实测耗时）
多协程	30.47秒以上（实测耗时）

源码

• 同步（程序按顺序从上往下执行）

import time
t1 = time.time()
import gevent
from gevent import monkey
gevent.monkey.patch_all()


def func(i):
    time.sleep(0.1)
    print(f'task i complete')


tasks = [gevent.spawn(func, i) for i in range(1000000)]
gevent.wait(tasks)
t2 = time.time()
print(f'Time-consuming: t2-t1')

• 多协程（基于 gevent 库的协程实现【安装：pip install gevent】）

import time
t1 = time.time()
import gevent
from gevent import monkey
gevent.monkey.patch_all()


def func(i):
    time.sleep(0.1)
    print(f'task i complete')


tasks = [gevent.spawn(func, i) for i in range(1000000)]
gevent.wait(tasks)
t2 = time.time()
print(f'Time-consuming: t2-t1')

• 多线程（基于 concurrent.futures 的线程池实现）

import time
t1 = time.time()
import concurrent.futures as cf


def func(i):
    time.sleep(0.1)
    print(f'task i complete')


with cf.ThreadPoolExecutor(32) as tp:
    for i in range(1000000):
        tp.submit(func, i)
t2 = time.time()
print(f'Time-consuming: t2-t1')

总结

从上述实验对比结果中，我们可以清楚看到多协程在高并发上的优势，并且其基于 gevent 的实现也是非常容易的。