Python_多进程

Posted 2021-01-22 Vera_y

Python 多进程库 multiprocessing ,支持子进程、通信、数据共享、执行不同形式的同步

多进程，绕过gil ,实现多核的利用，多进程也是原生进程，由操作系统维护

在pycharm中，可能没有办法正常使用multiprocessing.Process，最好是在Linux中运行

Process	用于创建进程模块
Pool	用于创建管理进程池
Queue	用于进程通信，资源共享
Pipe	用于管道通信
Manager	用于资源共享，同步进程

 

1.Process类

---

Process(group = None,target =None,name=None, args=[ ], kwargs={ })

group	线程组
target	要执行的方法
name	进程名
args/kwargs	要传入方法的参数

process属性&方法：

authkey	进程的身份验证密钥
daemon	同thread的setDaemon，守护进程
exitcode	进程运行时为None，若为—N，则表示被信号N结束
pid	进程号
name	进程名
is_alive()	返回进程是否正在运行
join([timeout])	阻塞到线程结束或到timeout值
start()	进程准备就绪，等待CPU调度
run()	start()调用run方法，如果实例进程时未制定传入target，start执行默认run()方法。
terminate()	不管任务是否完成，立即停止工作进程

多进程的创建：

 

#!/usr/bin/python
# -*- coding:utf-8 -*-
\'\'\'多进程的创建\'\'\'
from multiprocessing import Process
import time

def fun(name):
    time.sleep(1)
    print(\'hello,%s\' % name)
    print(\'----\')

if __name__ ==\'__main__\':
    for i in range(5):                # 进程同步
        p = Process(target=fun, args=(\'Presley\',))
        p.start()
    p.join()
    print(\'结束。\')

多进程

 

进程id :

 

#!/usr/bin/python3
# -*- coding:utf-8 -*-

from multiprocessing import Process
import os
def info(title):
    print(title)
    print(\'moudle name ：\',__name__)
    print(\'parent process id \', os.getppid())         
    print(\'process id \', os.getpid())                  


if __name__ ==\'__main__\':
    info(\'hei. \')          # pycharm id和 主进程id             
    for i in range(3):
        p = Process(target=info, args=(\'Presley\',))     # 主进程id   和 info 子进程id
        p.start()
        p.join()

View Code

 

hei. 
moudle name ： __main__
parent process id  1610
process id  1826
Presley
moudle name ： __main__
parent process id  1826
process id  1827
Presley
moudle name ： __main__
parent process id  1826
process id  1828
Presley
moudle name ： __main__
parent process id  1826
process id  1829

result

 

2.Queue类 

---

不同进程间内存是不共享的，想要实现两个进程间的数据交换，可以用Queue进行进程间通讯

queue是在多进程中做了一层封装的队列，以保证在当前进程里进程安全

方法：queue

 进程中的队，以保证进程安全

from multiprocessing import Process,Queue
def info(q):
    #  global q       # 错误，queue中 ，global 不行，因为子进程无法访问父进程的内存数据
    q.put([34, None, \'yes\'])


if __name__ ==\'__main__\':
    q = Queue()
    for i in range(3):
        p = Process(target=info, args=[q,])      # 多个子进程的数据可以都可以放父进程数据
        p.start()
        print(\'来自父进程%s：%s\'%(i, q.get()))
    p.join()

多进程_queue

来自父进程0：[34, None, \'yes\']
来自父进程1：[34, None, \'yes\']
来自父进程2：[34, None, \'yes\']

result

 

3.Pipe类

---

管道操作（双向队列）：会返回一对对象，管道的两端分别赋给子进程和父进程

和队列操作差不多，所以一般运用队列较多

方法：

send()	发送序列
recv()	接收序列
fileno()	返回一个整型的文件描述符
close()	退出
poll()	判断子进程是否结束
send_bytes()	以bytes格式发送序列
recv_bytes()	以bytes格式接收序列

from multiprocessing import Process,Pipe
import time
def info(conn):
    time.sleep(0.5)
    conn.send([32,None,\'ni hao wa\'])

    conn.close()

if __name__==\'__main__\':
    conn_parent ,conn_child = Pipe()
    print(conn_parent.fileno())       

    for i in range(3):
        p = Process(target=info,args=(conn_child,))
        print(bool(conn_child.poll))        # 进程是否结束
        p.start()
        # 如果没有消息可接收，recv方法会一直阻塞。如果管道已经被关闭，那么recv方法会抛出EOFError。
        print(\'父端接收%s：%s\'% (i,conn_parent.recv()))

    p.join()

多进程_Pipe

200
True
父端接收0：[32, None, \'ni hao wa\']
True
父端接收1：[32, None, \'ni hao wa\']
True
父端接收2：[32, None, \'ni hao wa\']

result

 

4.Manager

---

通过Manager可以简单的使用list,dict,Namespace,Lock,RLock,Semaphore,BoundedSemaphore,Condition,Event,Barries,Value+Arrary等类型的高级接口

Manager()返回的manager对象控制了一个server进程,此进程包含的python对象可以被其他的进程通过proxies来访问。从而达到多进程间数据通信且安全

 例：对list，dict的应用例子：

#!/usr/bin/python3
# -*- coding:utf-8 -*-
from multiprocessing import Process,Manager

def fun(d,l,n):
    d[2] = \'3\'
    d[\'e\'] = \'e\'
    d[34] = None
    l.append(n)
    print(l)

if __name__ == \'__main__\':
    with Manager() as manager:
        d = manager.dict()
        l = manager.list()
        join_list = []
        for i in range(6):
            p = Process(target=fun, args=(d,l,i))
            p.start()
            join_list.append(p)
        for res in join_list:
            res.join()
            print(l)
        print(d)

example

[5]
[5, 2]
[5, 2, 3]
[5, 2, 3, 0]
[5, 2, 3, 0, 4]
[5, 2, 3, 0, 4, 1]
[5, 2, 3, 0, 4, 1]
[5, 2, 3, 0, 4, 1]
[5, 2, 3, 0, 4, 1]
[5, 2, 3, 0, 4, 1]
[5, 2, 3, 0, 4, 1]
[5, 2, 3, 0, 4, 1]
{2: \'3\', \'e\': \'e\', 34: None}

result

Manager的详细参考：https://www.aliyun.com/jiaocheng/490316.html

 

5.Pool 类（进程池）

---

当进程数过多时，用于限制进程数

 异步：进程并行

同步：进程串行

方法：

apply_async(func,args,kwds,callback)	进程异步，并行（func：执行一个函数，args/ dwds:进程参数，callback：Foo执行结果返回到callback执行的函数中）
apply(func,args,kwds)	进程同步，串行
close()	关闭进程池
terminate()	结束工作进程，不在处理未完成的任务
join()	主进程阻塞，等待子进程执行完毕

from multiprocessing import Pool,freeze_support
import time

def Foo(i):
    time.sleep(1)
    print(\'exec..\')
    return i+100     # 返回到Bar中


def Bar(arg):
    print(\'来自Foo 的i ：\',arg)   # 接收 Foo中 的返回值

if __name__ == \'__main__\':
    freeze_support()       # 仅在Windows上才导入此模块进程程序才不会出错，Linux上不用
    pool = Pool(5)     # 限制每次进行的进程数为 5
    for i in range(10):
        pool.apply_async(func=Foo, args=(i,),callback=Bar)  # 进程异步    # callback 把前面func的放在Bar中打印
        # pool.apply(func=Foo, args=(i,))         # 同步，串行   # 没有callback属性
    print(\'结束。。\')
    pool.close()           # 注意：join必须放在close()后面，否则将不会等待子进程打印结束，而直接结束
    pool.join()

进程池

结束。。
exec..
exec..
exec..
exec..
exec..
来自Foo 的i ： 104
来自Foo 的i ： 102
来自Foo 的i ： 103
来自Foo 的i ： 100
来自Foo 的i ： 101
exec..
exec..
exec..
exec..
exec..
来自Foo 的i ： 105
来自Foo 的i ： 106
来自Foo 的i ： 107
来自Foo 的i ： 108
来自Foo 的i ： 109

异步结果

exec..
exec..
exec..
exec..
exec..
exec..
exec..
exec..
exec..
exec..
结束。。

同步结果