gevent

Posted geeklove

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了gevent相关的知识,希望对你有一定的参考价值。

如果让程序阻塞在IO操作,会浪费时间和CPU资源。

gevent是Python中用来实现协程的工具。使用gevent,当发生阻塞的时候,会把程序控制权转移出去。

gevent是如何实现当阻塞时交出CPU控制权的呢?它把Python中的许多阻塞操作(如sleep,select,控制网络操作的socket等)重新实现了一遍。

如何管理多个协程的控制权呢?gevent实现了一套类似于Python multiprocess/thread库的接口。用spawn方法创建协程,用joinall方法等待协程完成。

需要注意的是,如果使用spawn传入的函数本身不能让出CPU控制权,那么用这种方法就和普通的同步操作没有区别,失去意义。

解决的方法是使用 monkey patch,这是一种在运行时动态改变类或模块的方法。

monkey patch的实现机制的核心是调用setattr方法。

为了 monkey patch 更改那些已经写好的库,首先要monkey patch,再import需要更改的库。

经典用法:

from gevent import monkey
monkey.patch_all()

import xxx(other modules you need)

在使用gunicorn起服务器的时候加一个 -k gevent_wsgi 参数就可以 patch all 所有的module

另外,写 monkey.patch_all() 的时候要确保正常的业务代码不会引用到这个模块,不要让其他人的代码在不知情的情况下被patch

 

以上是关于gevent的主要内容,如果未能解决你的问题,请参考以下文章

Gevent的协程实现原理

100行代码实现gevent调度模型

day_6.17 gevent版服务器

Python 安装gevent,在导入gevent之后就报错了

线程池+协程+gevent模块

python里gevent模块下没有shutdown这个属性是怎么回事?