python 进程 线程 协程

Posted 2021-01-22 外部存储设备

　　并发与并行：并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔内发生。在单核CPU下的多线程其实都只是并发，不是并行。

 

　　进程是系统资源分配的最小单位，进程的出现是为了更好的利用CPU资源使到并发成为可能。进程由操作系统调度。

　　线程的出现是为了降低上下文切换的消耗，提高系统的并发性，并突破一个进程只能干一样事的缺陷，使到进程内并发成为可能。线程共享进程的大部分资源，并参与CPU的调度, 当然线程自己也是拥有自己的资源的，例如，栈，寄存器等等。线程由操作系统调度。

　　协程通过在线程中实现调度，避免了陷入内核级别的上下文切换造成的性能损失，进而突破了线程在IO上的性能瓶颈。协程由代码调度。

 

　　多个线程相对独立，有自己的上下文，切换受系统控制；而协程也相对独立，有自己的上下文，但是其切换由自己控制，由当前协程切换到其他协程由当前协程来控制。

 

　　线程，在计算机里面通常的分类是内核级线程和用户级线程。内核级线程的调度是由系统完成的，而用户级线程的调度是由用户来控制的。那么Python标准库提供的线程是那一类呢？如果我们了解或者使用过gevent和eventlet，进行下对比，我们就很容易回答出来了。Python提供的线程是内核级的，而gevent和eventlet提供的则是用户级的线程。这类用户级的线程，我们叫它协程，也可以叫green thread。

 

　　GIL锁是对于解释器的，它保证一个进程同一时刻只存在一个解释器实例，并不是说Python 不能利用多核，而是不能“有效”利用多核。一个进程的多个线程运行在多核上的时候，解释器仍有可能被某一线程阻塞导致其它线程的代码无法执行。移除GIL锁是没有必要的，会给多线程编程造成巨大的心智负担。要想充分利用多核，可以使用多进程+协程的方式，多进程下不存在GIL锁的问题，而协程的系统开销远比线程小所以理论上来说性能更优，协程可以轻松的达到十万甚至百万并发的级别，而子线程到达这个量级的时候调度开销会比较大。从Python3加入的新特性asyncio可以知道，python官方也认为与其解决GIL锁对多线程编程造成的困扰，不如转而鼓励使用语言级别的协程。虽然具体实现上有差别，然而Golang，Javascript也是采用类似的方式解决异步的问题的。

 

　  uwsgi可以配置参数启动多个进程，还可以配置一个进程有多个线程。eventlet则是开启多个协程。

 

　  进程间通信的方法有：消息队列（redis、mongoDB等）、管道、共享内存、信号