基于Windows平台的Python多线程及多进程学习小结

Posted 2021-12-01 johnyang

python多线程及多进程对于不同平台有不同的工具（platform-specific tools)，如os.fork仅在Unix上可用，而windows不可用，该文仅针对windows平台可用的工具进行总结。

1.多线程

单线程中，如果某一任务（代码块）是long-time running的，则必须等待该任务（代码块）结束，才可以对下一个任务进行操作，为解决long-time 任务的block问题，可将创建多个线程，间隔选择多线程进行操作。python 中多线程常用的库为_thread,threading，其中，_thread为较底层的库，threading 为较高级的库，它们都是将可调用对象传入线程中，进行操作不同的任务。下面分别对这两个库进行简单的总结：

（1）_thread库

（a)创建线程

创建线程为_thread.start_new_thread(func,args)，这里func为可调对象，如简单函数，lambda函数，bound方法，args为func中的参数（以元组的形式）。

（b)GIL全局解释器锁（Global interpreter lock)

为解决多线程对全局可变对象的修改等问题，每个线程在运行时，都必须使用（或引用）同一个GIL锁，以保证每个时间点仅有一个线程在运行。_thread库创建GIL为：lock=_thread.allocate_lock()，在进程操作前后分别加上lock.acquare(),lock.release()，或者直接用with打开锁。

（c)与主线程关系

因为主线程结束后，所有子线程全部强行结束，所以一般在主线程上加上time.sleep()方法，或者在主线程中遍历子线程列表集合判定是否所有线程结束来确保所有子线程结束后再结束。

（2）threading库

（a)创建线程

可以一方面：使用类来创建新进程，如下：

class Mythread(threading.Thread):
    def __init__(self,myId,count,mutex):
        self.myId=myId
        self.count=count
        self.mutex=mutex
        threading.Thread.__init__(self)
    def run(self):
        for i in range(self.count):
            with self.mutex:
                print(‘[%s]=>%s‘%(self.myId,i))

通过重写run()，来具体化创建的进程所执行的任务。

另一方面：直接使用。

thread=threading.Thread(target=func,args=(argument,))这里，func是可调对象，argument是func的参数。

（b)启动线程。

与_thread库不同，threading库在创建完线程后，还需要start()来启动。启动后，join()方法可保证子线程全部结束后，主线程再退出。

（c)GIL

有自己的threading.Lock()，一般在执行代码前用with打开。

2.多进程

python 中多进程的库为multiprocess，该库有2个特点：子进程与主进程不共用全局可变变量；所有参数为pickle对象。

（1）创建

一般需要嵌入在if __name__==‘__main__‘:，process=multiprocessing.Process(target=func,args=(argument,))

（2）启动进程

process.start()

process.join()阻塞主进程，直到子进程结束，如果.join()放置于使得子进程函数不能结束的位于主进程的语句前，那么该子进程将永远阻塞主进程。

(3)传递信息和共享状态

该模块自带Queue，Pipe，其中Pipe为双向传递，Queue为多个进程传递，一般为produer,consumer模式。需要注意的是使用Queue时，还需要import queue,以此来捕捉queue.EmptyError，共享状态通过Value,Array

（4）新的程序

可将Process与os.exec*结合起来，如：

"""
Combine multiprocessing.Process with exec* to start independent programs
"""
import os
from multiprocessing import Process
def runprogram(arg):
    os.execlp(‘python‘,‘python‘,‘child.py‘,str(arg))
    
if __name__==‘__main__‘:
    for i in range(5):
        Process(target=runprogram,args=(i,)).start()
    print(‘parent exits‘)

而child.py代码如下：

import sys,os,sys

print(‘\n‘,‘version:‘,sys.version,‘Hello from‘,os.getpid(),sys.argv[1])

运行如下：

version: 3.6.8 (tags/v3.6.8:3c6b436a57, Dec 24 2018, 00:16:47) [MSC v.1916 64 bit (AMD64)] Hello from 5268 2
version: 3.6.8 (tags/v3.6.8:3c6b436a57, Dec 24 2018, 00:16:47) [MSC v.1916 64 bit (AMD64)] Hello from 11176 4
version: 3.6.8 (tags/v3.6.8:3c6b436a57, Dec 24 2018, 00:16:47) [MSC v.1916 64 bit (AMD64)] Hello from 11380 1
version: 3.6.8 (tags/v3.6.8:3c6b436a57, Dec 24 2018, 00:16:47) [MSC v.1916 64 bit (AMD64)] Hello from 876 0
version: 3.6.8 (tags/v3.6.8:3c6b436a57, Dec 24 2018, 00:16:47) [MSC v.1916 64 bit (AMD64)] Hello from 1644 3