python多进程-----multiprocessing包

Posted 2020-08-24

multiprocessing并非是python的一个模块，而是python中多进程管理的一个包，在学习的时候可以与threading这个模块作类比，正如我们在上一篇转载的文章中所提，python的多线程并不能做到真正的并行处理，只能完成相对的并发处理，那么我们需要的就是python的多进程来完成并行处理，把所有的cpu资源都利用起来。multiprocessing的很大一部分与threading使用同一套API，只不过换到了多进程的环境。这里面要注意，对于多进程来说，win32平台和unix平台差别很大，我们最好在linux上完成实现。

使用这些共享API时，我们应该注意以下问题（目前这是我能想到的，以后遇到再扩充）：

1、对join的处理

      根据Unix环境高级编程中对进程控制一章的描述，当某个进程fork一个子进程后，该进程必须要调用wait等待子进程结束发送的sigchld信号，对子进程进行资源回收等相关工作，否则，子进程会成为僵死进程，被init收养。所以，在multiprocessing.Process实例化一个对象之后，该对象有必要调用join方法，因为在join方法中完成了对底层wait的处理，源码如下：

    def join(self, timeout=None):
        ‘‘‘
        Wait until child process terminates
        ‘‘‘
        assert self._parent_pid == os.getpid(), ‘can only join a child process‘
        assert self._popen is not None, ‘can only join a started process‘
        res = self._popen.wait(timeout)
        if res is not None:
            _current_process._children.discard(self)

      不过，调用该方法，要注意join的位置(threading模块有提到)，是在每个子进程中阻塞还是在父进程中阻塞，如果在子进程中阻塞可能达不到并行处理的目的，所以要根据具体需求。而对于多线程来说，由于只有一个进程，所有子线程共享同一片内存，所以不是必须要进行join调用。例子如下：

#!/usr/bin/env python
__author__ = ‘webber‘
import os,time
import multiprocessing

# worker function
def worker(sign, lock):
    lock.acquire()
    print sign, ‘pid:‘,os.getpid()
    lock.release()
    time.sleep(1)

# Main
print ‘Main:‘,os.getpid()

plist = []
lock = multiprocessing.Lock()
for j in range(5):
    p = multiprocessing.Process(target=worker,args=(‘process‘,lock))
    p.start()
    plist.append(p)
p.join()

#for process in record:
#    process.join()

       

      此外，还有一点关于GIL锁的说明，在python多进程中，同样需要全局解释器锁，因为每个子进程都有一把GIL，那么当它们向stdout输出时，可以同时争抢stdout资源，导致在每个子进程输出时会把不同子进程的输出字符混合在一起，无法阅读，影响代码的标志位判断，所以上例子中使用了Lock同步，在一个子进程输出完成之后再允许另一个子进程得到stdout的权限，这样避免了多个任务同时向终端输出。

 

2、对IPC的处理

      multiprocessing包与threading模块的另一个差异特性体现在IPC上，python的multiprocessing包自带了对Pipe和Queue的管理，效率上更高，而threading模块需要与Queue模块或os.popen()、subprocess.Popen()等配合使用。
      根据Unix环境高级编程的第15章进程间通信的描述，经典的IPC包括管道、FIFO、消息队列、信号量、以及共享存储。不过应用最多的还是管道。书中指出我们应该把管道看成是半双工的，并且只能在具有公共祖先的两个进程之间使用。
下面我们用一下Pipe()和Queue()方法：

　　a、关于Pipe()

对照书中给出的底层pipe接口函数，我们看到Pipe方法在Unix平台上实现源码如下：

def Pipe(duplex=True):
        ‘‘‘
        Returns pair of connection objects at either end of a pipe
        ‘‘‘
        if duplex:
            s1, s2 = socket.socketpair()
            s1.setblocking(True)
            s2.setblocking(True)
            c1 = _multiprocessing.Connection(os.dup(s1.fileno()))
            c2 = _multiprocessing.Connection(os.dup(s2.fileno()))
            s1.close()
            s2.close()
        else:
            fd1, fd2 = os.pipe()
            c1 = _multiprocessing.Connection(fd1, writable=False)
            c2 = _multiprocessing.Connection(fd2, readable=False)

        return c1, c2

     首先，Pipe可以是单向(half-duplex),也可以是双向的(duplex)，默认为双向的。我们可以通过multiprocessing.Pipe(duplex=False)创建单向的管道。该方法返回一个元祖，包含两个文件描述符，如果为单向的，则为(read-only connection，write-only connection)；如果为双向的，则为(read-write Connection, read-write Connection)。一个进程从Pipe一端输入对象(fd[1])，然后被Pipe另一端的进程接收(fd[0])，两个进程要有同一个父进程或者其中一个是父进程。单向管道只允许管道一端的进程输入，而双向管道则允许从两端输入。这里的双向管道类似于书中提到的“协同进程”的概念。
例如：

#!/usr/bin/env python
import multiprocessing as mul

def proc1(pipe):
#    pipe.send(‘hello‘)
    print ‘proc1 rec:‘,pipe.recv()

def proc2(pipe):
#    print ‘proc2 rec:‘,pipe.recv()
    pipe.send(‘hello too‘)

pipe = mul.Pipe(duplex=False)
#pipe = mul.Pipe()

p1 = mul.Process(target=proc1,args=(pipe[0],))       # 读管道

p2 = mul.Process(target=proc2,args=(pipe[1],))       # 写管道
# 由于管道是单向的，对象pipe[0]只有读的权限(recv)，而pipe[1]只有写的权限(send)。
#print pipe
p1.start()
p2.start()
p1.join()
p2.join()

 

      b、关于Queue()

     Queue与Pipe相类似，都是先进先出的结构，但Queue允许多个进程放入，多个进程从队列取出对象。这里可以与Queue模块相类比学习。Queue方法其实是Unix环境高级编程IPC中FIFO命名管道的实现方法。FIFO可用于有以下两种情况：
---shell命令使用FIFO将数据从一条管道传送到另一条时，无需创建中间临时文件。
---客户进程-服务器进程应用程序中，FIFO用作汇聚点，在客户进程和服务器进程二者之间传递数据。
以下就FIFO的第二种情况写一个python例子：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import multiprocessing
import time
import os

# 客户进程，向众所周知的FIFO服务器进程发送请求
def client_proc(queue,msg):
    request = ‘I am client ‘ + str(msg) + ‘    pid: ‘+ str(os.getpid()) + ‘   time:‘ + str(time.time())        # 注意信息的格式，都统一为字符串类型
    queue.put(request)

def server_proc(queue,lock):
    msg = queue.get()
    lock.acquire()
    print msg + ‘--------------->I am server ‘ + ‘pid: ‘ + str(os.getpid())
    lock.release()

plist_cli = []
plist_ser = []
lock = multiprocessing.Lock()
queue = multiprocessing.Queue()  # 参数为空，默认为队列可无限长

for i in range(10):
    p1 = multiprocessing.Process(target=client_proc,args=(queue,i))
    p2 = multiprocessing.Process(target=server_proc,args=(queue,lock))
    p1.start()
    p2.start()
    plist_cli.append(p1)
    plist_ser.append(p2)

for proc in plist_cli:
    proc.join()
    
for proc in plist_ser:
    proc.join()
    
queue.close()

输出如下：

I am client 2    pid: 9867   time:1482489226.77--------------->I am server pid: 9879

I am client 0    pid: 9865   time:1482489226.77--------------->I am server pid: 9881

I am client 4    pid: 9869   time:1482489226.77--------------->I am server pid: 9884

I am client 1    pid: 9866   time:1482489226.77--------------->I am server pid: 9886

I am client 3    pid: 9868   time:1482489226.78--------------->I am server pid: 9888

I am client 7    pid: 9872   time:1482489226.78--------------->I am server pid: 9889

I am client 5    pid: 9870   time:1482489226.78--------------->I am server pid: 9892

I am client 6    pid: 9871   time:1482489226.78--------------->I am server pid: 9891

I am client 9    pid: 9878   time:1482489226.78--------------->I am server pid: 9893

I am client 8    pid: 9875   time:1482489226.78--------------->I am server pid: 9894

从输出可以看出，10个客户端进程把生产信息放入队列，10个服务端进程从队列取出信息并且打印，从打印时间和msg的子进程编号来看，10个服务端进程争夺stdout，通过Lock使它们有序输出，不至于输出信息混乱，msg编号没有从0排至9正是因为它们被分配给了不同的cpu资源，不同cpu资源在处理速度上不会完全一样，所以争夺stdout的能力也不同。

 

3、共享内存和Manager管理

     众所周知，在处理多进程时，每个进程都有自己独立的内存空间，所以在多进程环境中我们应该尽量避免共享资源，否则要依赖与IPC。python的多进程除了上面提到的常用的依赖于管道和FIFO之外，还可以通过共享内存和Manager的方法来共享资源。这个不常用，由于共享内存涉及同步的问题，会降低程序的效率而不推荐使用。以后涉及到再扩展。

 

4、进程池

 

参考博客：http://www.cnblogs.com/kaituorensheng/p/4465768.html
当我们在编写网络服务端时，Unix网络编程一书中提到服务端需要fork子进程，用子进程来处理监听到的连接请求，建立连接套接字，并在子进程中关闭监听套接字，父进程中关闭连接套接字。那么，当连接的并发不是很大时，我们可以利用进程池的方式来处理到来的连接。multiprocessing.Pool可以提供指定数量的进程供用户调用，当有新的请求提交到pool中时，如果进程池还没有满，那么就会创建一个新的进程用来执行该请求；如果池中的进程数已经达到最大值，那么该请求将会阻塞等待，直到池中有进程结束，才会创建新的进程来处理该请求。
Pool方法默认的初始值如下：
def __init__(self, processes=None, initializer=None, initargs=(),maxtasksperchild=None)
通常，我们应该指定进程池的大小，如果不指定，默认为cpu的个数，即processes=cpu_count()，我们可以用该模块自带的方法查看本机的cpu个数，

print multiprocessing.cpu_count()。下面看个进程池的例子：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import multiprocessing
import time

def func(msg):
    print ‘msg:‘,msg
    time.sleep(3)
    print ‘end‘

pool = multiprocessing.Pool(processes=3)
for i in xrange(4):
    msg = ‘hello %d‘ % (i)
    pool.apply_async(func,(msg,))     #非阻塞
#    pool.apply(func,(msg,))     #阻塞,apply()源自内建函数，用于间接的调用函数，并且按位置把元祖或字典作为参数传入。

#    pool.imap(func,[msg,])      #非阻塞, 注意与apply传的参数的区别
#    pool.map(func,[msg,])        #阻塞

print ‘Mark~~~~~~~~~~~~~~~‘
pool.close()
pool.join()      # 调用join之前，先调用close函数，否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
print ‘sub-process done‘

 

注意apply_async和apply的差别，此外，进程池请求函数处理还可以用map，imap，注意传递参数的区别。

 

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import multiprocessing
import time

def func(msg):
    print ‘msg:‘,msg
    time.sleep(3)
    print ‘end‘

pool = multiprocessing.Pool(50)
msg = range(50)
#pool.imap(func,msg)      #非阻塞, 注意与apply传的参数的区别
pool.map(func,msg)        #阻塞

print ‘Mark~~~~~~~~~~~~~~~‘
pool.close()
pool.join()
print ‘sub-process done‘

 

此外，如果子进程的处理函数中包含返回值，我们可以在父进程中对子进程调用get方法，将返回值取出，这里注意，要调用get方法的时候，进程池必须采用apply_async调用函数。例如：

if __name__ == "__main__":
    pool = multiprocessing.Pool(processes=4)
    result = []
    for i in xrange(3):
        msg = "hello %d" %(i)
        result.append(pool.apply_async(func, (msg, )))
    pool.close()
    pool.join()
    for res in result:
        print ":::", res.get()
    print "Sub-process(es) done."

 

最后，调用close()之后，进程池不再创建新的进程；

        调用join()之后，wait进程池中的全部进程。必须对Pool先调用close()方法才能join。

 

参考博客：http://www.lxway.com/4488626156.htm