线程池+协程+gevent模块

Posted liangchengyang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了线程池+协程+gevent模块相关的知识,希望对你有一定的参考价值。

提交任务的两种方式:
同步调用:提交完一个任务之后,就在原地等待,等待任务完完整整地运行完毕拿到结果后,再执行下一行代码,会导致任务是串行执行的
异步调用:提交完一个任务之后,不在原地等待,而是直接执行下一行代码,会导致任务是并发执行的

p.shutdown(wait=True)
关闭进程池的入口,并且在原地等待进程池内所有任务运行完毕

异步调用:
提交完一个任务之后,不在原地等待,而是直接执行下一行代码,会导致任务是并发执行的,
结果:futrue对象会在任务运行完毕后自动传给回调函数

在线程下实现并发
并发(多个任务看起来是同时执行就是并发):切换+保存状态

协程:
协程是单线程实现并发
注意:协程是程序员想象出来的东西,操作系统里只有进程和线程的概念(操作系统调度的是线程)
在单线程下实现多个任务间遇到IO就切换就可以降低单线程的IO时间,从而最大限度地提升单线程的效率

gevent模块
monkey.patch_all() 自动判断任务是否进入IO操作
spawn: 发送创建协程请求
joinall: 等待所有协程执行完毕






















以上是关于线程池+协程+gevent模块的主要内容,如果未能解决你的问题,请参考以下文章

线程池+协程+gevent模块

python全栈脱产第37天------进程池与线程池协程gevent模块单线程下实现并发的套接字通信

(并发编程)进程池线程池--提交任务的2种方式协程--yield greenlet,gevent模块

getName()--ident--enumerate--activeCount--线程池--协程(gevent)--优先级队列

Pythongevent 中协程池和线程池的简单使用

python---爬虫相关性能(各个异步模块的使用,和自定义异步IO模块)