第52天：python multiprocessing模块

Posted 2020-12-23 keep pure, keep smile

by 千阳

本节主要介绍 multiprocessing 多进程模块，由于 threading 多线程模块无法充分利用电脑的多核优势，而在实际开发中会对系统性能有较高的要求，就需要使用多进程来充分利用多核 cpu 的资源，下面详细介绍 Python 中的 multiprocessing。

multiprocessing 多进程模块有类似 threading 模块的 API 接口，方便熟悉 threading 的用户直接使用 multiprocessing。它支持子进程、通信和共享数据、执行不同形式的同步，下面简单介绍下几个常用的组件。

Process类

在 multiprocessing 中生成进程的方式是通过创建一个 Process 对象，然后调用它的 start() 方法来实现。例如：

from multiprocessing import Process
def f(name):
    print(‘hello‘, name)
if __name__ == ‘__main__‘:
    p = Process(target=f, args=(‘world‘,))
    #启动进程
    p.start()
    #实现进程间的同步，等待所有进程退出
    p.join()

#执行结果：
hello world

需要注意的是，在上面示例代码中使用了if __name__ == ‘__main__‘，这行代码是符合编程规范的。加上它可以确保主模块能够被新启动的 Python 解释器安全导入。

在启动进程的过程中，需要考虑执行顺序的问题，正常情况下是主进程先执行，子进程后执行。例如：

#主子进程执行顺序
from multiprocessing import Process
import os
import time
def run():
    print("子进程开启")
    time.sleep(2)
    print("子进程结束")

if __name__ == "__main__":
    print("主进程启动")
    p = Process(target=run)
    p.start()
    print("主进程结束")

#执行结果：
主进程启动
主进程结束
子进程开启
子进程结束

Queue类

因为不同进程之间内存是不共享的，要想实现进程间的通信，必须要提供中间的媒介。Python 提供了两个通信的对象类。一个是 Queue 类，另一个是 Pipe 类。

Queue 队列使用一个管道和少量锁和信号量实现的共享队列实例，它是线程和进程安全的，常被用于两个进程之间的通讯。例如有一个 wirte 进程负责写数据，另外一个 read 进程负责读数据。当我们需要将写的数据交给读的进程时，可以通过 Queue 作为中间桥梁，先把 write 进程写的数据交给队列，再由队列将数据传递给 read 进程。

#Queue队列
from multiprocessing import Process, Queue
def f(q):
    q.put([11, None, ‘lily‘])
if __name__ == ‘__main__‘:
    q = Queue()
    p = Process(target=f, args=(q,))
    p.start()
    print(q.get())
    p.join()

#执行结果：
[11, None, ‘lily‘]

在上述示例中调用了 join()函数，它可以阻塞主进程，直到调用 join()函数的进程终止。该函数有一个可选的参数 timeout，参数 timeout 的默认值是 None。如果 timeout 是一个正数，它最多会阻塞 timeout 秒。

Pipe类

Pipe 和 Queue 一样，可以作为进程之间通信的通道。Pipe()函数返回两个对象 conn1 和 conn2 ，这两个对象表示管道的两端。

Pipe()函数有一个可选参数 duplex，参数 duplex 的默认值为 True，表示该管道是双向的，即两个对象都可以发送和接收消息。如果把参数 duplex 设置为 False ，表示该管道是单向的，即 conn1 只能用于接收消息，conn2 只能用于发送消息。例如：

from multiprocessing import Process, Pipe
def f(conn):
    conn.send([11, None, ‘lily‘])
    conn.close()

if __name__ == ‘__main__‘:
    conn1, conn2 = Pipe()
    p = Process(target=f, args=(conn2,))
    p.start()
    print(conn1.recv())
    p.join()

#执行结果：
[11, None, ‘lily‘]

从以上示例可以看出，Queue 和 Pipe 拥有相似的功能。但在日常开发中，两者使用的场景有所不同，Pipe 多用于两个进程间通信，而 Queue 则多用于两个及以上进程间的通信。

Lock类

由于多线程共享进程的资源和地址空间，因此，在对这些公共资源进行操作时，为了防止这些公共资源出现异常的结果，必须考虑线程的同步和互斥问题。

为了保证进程间的同步，我们可以使用 Lock 类给线程或者进程加锁。Lock 返回的是一个非递归锁对象，Lock 实际上是一个工厂函数。它返回由默认上下文初始化的 multiprocessing.synchronize.Lock 对象。

一旦某一个进程或者线程拿到了锁，后续的任何其他进程或线程的其他请求都会被阻塞直到锁被释放。例如：

#!/usr/bin/python3
from multiprocessing import Process, Lock
def f(l, i):
    l.acquire()
    try:
        print(‘this is‘, i)
    finally:
        l.release()

if __name__ == ‘__main__‘:
    lock = Lock()

    for num in range(10):
        Process(target=f, args=(lock, num)).start()

#执行结果：
this is 0
this is 2
this is 3
this is 4
this is 1
this is 5
this is 6
this is 7
this is 8
this is 9

总结

本节给大家介绍了 Python 中 multiprocessing 模块的常用操作，对于实现基于进程的并行操作提供了支撑，注意与 threading 模块基于线程的并行操作区分开。

示例代码：https://github.com/JustDoPython/python-100-day/tree/master/day-052

参考
[1] https://docs.python.org/3.7/library/multiprocessing.html
[2] https://blog.csdn.net/brucewong0516/article/details/85796073

关注公众号：python技术，回复"python"一起学习交流