python多进程-----multiprocessing包

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python多进程-----multiprocessing包相关的知识,希望对你有一定的参考价值。

multiprocessing并非是python的一个模块,而是python中多进程管理的一个包,在学习的时候可以与threading这个模块作类比,正如我们在上一篇转载的文章中所提,python的多线程并不能做到真正的并行处理,只能完成相对的并发处理,那么我们需要的就是python的多进程来完成并行处理,把所有的cpu资源都利用起来。multiprocessing的很大一部分与threading使用同一套API,只不过换到了多进程的环境。这里面要注意,对于多进程来说,win32平台和unix平台差别很大,我们最好在linux上完成实现。

使用这些共享API时,我们应该注意以下问题(目前这是我能想到的,以后遇到再扩充):

1、对join的处理

      根据Unix环境高级编程中对进程控制一章的描述,当某个进程fork一个子进程后,该进程必须要调用wait等待子进程结束发送的sigchld信号,对子进程进行资源回收等相关工作,否则,子进程会成为僵死进程,被init收养。所以,在multiprocessing.Process实例化一个对象之后,该对象有必要调用join方法,因为在join方法中完成了对底层wait的处理,源码如下:

    def join(self, timeout=None):
        ‘‘‘
        Wait until child process terminates
        ‘‘‘
        assert self._parent_pid == os.getpid(), can only join a child process
        assert self._popen is not None, can only join a started process
        res = self._popen.wait(timeout)
        if res is not None:
            _current_process._children.discard(self)

      不过,调用该方法,要注意join的位置(threading模块有提到),是在每个子进程中阻塞还是在父进程中阻塞,如果在子进程中阻塞可能达不到并行处理的目的,所以要根据具体需求。而对于多线程来说,由于只有一个进程,所有子线程共享同一片内存,所以不是必须要进行join调用。例子如下:

#!/usr/bin/env python
__author__ = webber
import os,time
import multiprocessing

# worker function
def worker(sign, lock):
    lock.acquire()
    print sign, pid:,os.getpid()
    lock.release()
    time.sleep(1)

# Main
print Main:,os.getpid()

plist = []
lock = multiprocessing.Lock()
for j in range(5):
    p = multiprocessing.Process(target=worker,args=(process,lock))
    p.start()
    plist.append(p)
p.join()

#for process in record:
#    process.join()

       

      此外,还有一点关于GIL锁的说明,在python多进程中,同样需要全局解释器锁,因为每个子进程都有一把GIL,那么当它们向stdout输出时,可以同时争抢stdout资源,导致在每个子进程输出时会把不同子进程的输出字符混合在一起,无法阅读,影响代码的标志位判断,所以上例子中使用了Lock同步,在一个子进程输出完成之后再允许另一个子进程得到stdout的权限,这样避免了多个任务同时向终端输出。

 

2、对IPC的处理

      multiprocessing包与threading模块的另一个差异特性体现在IPC上,python的multiprocessing包自带了对Pipe和Queue的管理,效率上更高,而threading模块需要与Queue模块或os.popen()、subprocess.Popen()等配合使用。
      根据Unix环境高级编程的第15章进程间通信的描述,经典的IPC包括管道、FIFO、消息队列、信号量、以及共享存储。不过应用最多的还是管道。书中指出我们应该把管道看成是半双工的,并且只能在具有公共祖先的两个进程之间使用。
下面我们用一下Pipe()和Queue()方法:

  a、关于Pipe()

对照书中给出的底层pipe接口函数,我们看到Pipe方法在Unix平台上实现源码如下:

def Pipe(duplex=True):
        ‘‘‘
        Returns pair of connection objects at either end of a pipe
        ‘‘‘
        if duplex:
            s1, s2 = socket.socketpair()
            s1.setblocking(True)
            s2.setblocking(True)
            c1 = _multiprocessing.Connection(os.dup(s1.fileno()))
            c2 = _multiprocessing.Connection(os.dup(s2.fileno()))
            s1.close()
            s2.close()
        else:
            fd1, fd2 = os.pipe()
            c1 = _multiprocessing.Connection(fd1, writable=False)
            c2 = _multiprocessing.Connection(fd2, readable=False)

        return c1, c2

     首先,Pipe可以是单向(half-duplex),也可以是双向的(duplex),默认为双向的。我们可以通过multiprocessing.Pipe(duplex=False)创建单向的管道。该方法返回一个元祖,包含两个文件描述符,如果为单向的,则为(read-only connection,write-only connection);如果为双向的,则为(read-write Connection, read-write Connection)。一个进程从Pipe一端输入对象(fd[1]),然后被Pipe另一端的进程接收(fd[0]),两个进程要有同一个父进程或者其中一个是父进程。单向管道只允许管道一端的进程输入,而双向管道则允许从两端输入。这里的双向管道类似于书中提到的“协同进程”的概念。
例如:

#!/usr/bin/env python
import multiprocessing as mul

def proc1(pipe):
#    pipe.send(‘hello‘)
    print proc1 rec:,pipe.recv()

def proc2(pipe):
#    print ‘proc2 rec:‘,pipe.recv()
    pipe.send(hello too)

pipe = mul.Pipe(duplex=False)
#pipe = mul.Pipe()

p1 = mul.Process(target=proc1,args=(pipe[0],))       # 读管道

p2 = mul.Process(target=proc2,args=(pipe[1],))       # 写管道
# 由于管道是单向的,对象pipe[0]只有读的权限(recv),而pipe[1]只有写的权限(send)。
#print pipe
p1.start()
p2.start()
p1.join()
p2.join()

 

      b、关于Queue()

     Queue与Pipe相类似,都是先进先出的结构,但Queue允许多个进程放入,多个进程从队列取出对象。这里可以与Queue模块相类比学习。Queue方法其实是Unix环境高级编程IPC中FIFO命名管道的实现方法。FIFO可用于有以下两种情况:
---shell命令使用FIFO将数据从一条管道传送到另一条时,无需创建中间临时文件。
---客户进程-服务器进程应用程序中,FIFO用作汇聚点,在客户进程和服务器进程二者之间传递数据。
以下就FIFO的第二种情况写一个python例子:

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import multiprocessing
import time
import os

# 客户进程,向众所周知的FIFO服务器进程发送请求
def client_proc(queue,msg):
    request = I am client  + str(msg) +     pid: + str(os.getpid()) +    time: + str(time.time())        # 注意信息的格式,都统一为字符串类型
    queue.put(request)

def server_proc(queue,lock):
    msg = queue.get()
    lock.acquire()
    print msg + --------------->I am server  + pid:  + str(os.getpid())
    lock.release()

plist_cli = []
plist_ser = []
lock = multiprocessing.Lock()
queue = multiprocessing.Queue()  # 参数为空,默认为队列可无限长

for i in range(10):
    p1 = multiprocessing.Process(target=client_proc,args=(queue,i))
    p2 = multiprocessing.Process(target=server_proc,args=(queue,lock))
    p1.start()
    p2.start()
    plist_cli.append(p1)
    plist_ser.append(p2)

for proc in plist_cli:
    proc.join()
    
for proc in plist_ser:
    proc.join()
    
queue.close()
输出如下:
I am client 2    pid: 9867   time:1482489226.77--------------->I am server pid: 9879
I am client 0    pid: 9865   time:1482489226.77--------------->I am server pid: 9881
I am client 4    pid: 9869   time:1482489226.77--------------->I am server pid: 9884
I am client 1    pid: 9866   time:1482489226.77--------------->I am server pid: 9886
I am client 3    pid: 9868   time:1482489226.78--------------->I am server pid: 9888
I am client 7    pid: 9872   time:1482489226.78--------------->I am server pid: 9889
I am client 5    pid: 9870   time:1482489226.78--------------->I am server pid: 9892
I am client 6    pid: 9871   time:1482489226.78--------------->I am server pid: 9891
I am client 9    pid: 9878   time:1482489226.78--------------->I am server pid: 9893
I am client 8    pid: 9875   time:1482489226.78--------------->I am server pid: 9894

从输出可以看出,10个客户端进程把生产信息放入队列,10个服务端进程从队列取出信息并且打印,从打印时间和msg的子进程编号来看,10个服务端进程争夺stdout,通过Lock使它们有序输出,不至于输出信息混乱,msg编号没有从0排至9正是因为它们被分配给了不同的cpu资源,不同cpu资源在处理速度上不会完全一样,所以争夺stdout的能力也不同。

 

3、共享内存和Manager管理

     众所周知,在处理多进程时,每个进程都有自己独立的内存空间,所以在多进程环境中我们应该尽量避免共享资源,否则要依赖与IPC。python的多进程除了上面提到的常用的依赖于管道和FIFO之外,还可以通过共享内存和Manager的方法来共享资源。这个不常用,由于共享内存涉及同步的问题,会降低程序的效率而不推荐使用。以后涉及到再扩展。

 

4、进程池

 

参考博客:http://www.cnblogs.com/kaituorensheng/p/4465768.html
当我们在编写网络服务端时,Unix网络编程一书中提到服务端需要fork子进程,用子进程来处理监听到的连接请求,建立连接套接字,并在子进程中关闭监听套接字,父进程中关闭连接套接字。那么,当连接的并发不是很大时,我们可以利用进程池的方式来处理到来的连接。multiprocessing.Pool可以提供指定数量的进程供用户调用,当有新的请求提交到pool中时,如果进程池还没有满,那么就会创建一个新的进程用来执行该请求;如果池中的进程数已经达到最大值,那么该请求将会阻塞等待,直到池中有进程结束,才会创建新的进程来处理该请求。
Pool方法默认的初始值如下:
def __init__(self, processes=None, initializer=None, initargs=(),maxtasksperchild=None)
通常,我们应该指定进程池的大小,如果不指定,默认为cpu的个数,即processes=cpu_count(),我们可以用该模块自带的方法查看本机的cpu个数,

print multiprocessing.cpu_count()。下面看个进程池的例子:

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import multiprocessing
import time

def func(msg):
    print msg:,msg
    time.sleep(3)
    print end

pool = multiprocessing.Pool(processes=3)
for i in xrange(4):
    msg = hello %d % (i)
    pool.apply_async(func,(msg,))     #非阻塞
#    pool.apply(func,(msg,))     #阻塞,apply()源自内建函数,用于间接的调用函数,并且按位置把元祖或字典作为参数传入。

#    pool.imap(func,[msg,])      #非阻塞, 注意与apply传的参数的区别
#    pool.map(func,[msg,])        #阻塞

print Mark~~~~~~~~~~~~~~~
pool.close()
pool.join()      # 调用join之前,先调用close函数,否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
print sub-process done

 

注意apply_async和apply的差别,此外,进程池请求函数处理还可以用map,imap,注意传递参数的区别。

 

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import multiprocessing
import time

def func(msg):
    print msg:,msg
    time.sleep(3)
    print end

pool = multiprocessing.Pool(50)
msg = range(50)
#pool.imap(func,msg)      #非阻塞, 注意与apply传的参数的区别
pool.map(func,msg)        #阻塞

print Mark~~~~~~~~~~~~~~~
pool.close()
pool.join()
print sub-process done

 

此外,如果子进程的处理函数中包含返回值,我们可以在父进程中对子进程调用get方法,将返回值取出,这里注意,要调用get方法的时候,进程池必须采用apply_async调用函数。例如:

if __name__ == "__main__":
    pool = multiprocessing.Pool(processes=4)
    result = []
    for i in xrange(3):
        msg = "hello %d" %(i)
        result.append(pool.apply_async(func, (msg, )))
    pool.close()
    pool.join()
    for res in result:
        print ":::", res.get()
    print "Sub-process(es) done."

 

最后,调用close()之后,进程池不再创建新的进程;

        调用join()之后,wait进程池中的全部进程。必须对Pool先调用close()方法才能join。

 

参考博客:http://www.lxway.com/4488626156.htm












以上是关于python多进程-----multiprocessing包的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫提速小技巧,多线程与多进程(附源码示例)

python 进程池的使用

python并发之multiprocessing

准确确定在 Python 多处理期间腌制的内容

使用 Python 多处理进行通信的 OSX 和 Linux 之间的性能差异

python 对mongodb进行压力测试