python进程------multiprocessing包

Posted hyxk

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python进程------multiprocessing包相关的知识,希望对你有一定的参考价值。

一、multiprocessing包

它是是python中的多进程管理包。与threading.Treade类似,它可以利用multiprocessing.Process对象来创建一个进程。该进程可以在python程序内部编写函数。该process对象和thread对象的用法相同,又有
start()、run()、join()的方法。此外multiprocessing包中也有Lock/Event/Semaphore/Condition类(这些对象可以像多线程那要,通过参数传递给各个进程),用以同步进程其使用方法和threading包中的同名类
一致。所以,multiprocessing的很大一部分与threading使用同一套API,只不过换到了多进程的情境。如果你连线程都没有看过、了解,那你看进程做什么,线程都是在进程里面执行的。进程类似于线程的容器。

二、process类

创建进程的类:

Process([group [, target [, name [, args [, kwargs]]]]]),由该类实例化得到的对象,表示一个子进程中的任务(尚未启动)
强调:
1. 需要使用关键字的方式来指定参数
2. args指定的为传给target函数的位置参数,是一个元组形式,必须有逗号

参数介绍:

1. group参数未使用,值始终为None
2.target表示调用对象,即子进程要执行的任务
3.args表示调用对象的位置参数元组,args=(1,2,'egon',)
4.kwargs表示调用对象的字典,kwargs='name':'egon','age':18
5.name为子进程的名称

方法介绍:

 1 p.start():启动进程,并调用该子进程中的p.run() 
 2 
 3 p.run():进程启动时运行的方法,正是它去调用target指定的函数,我们自定义类的类中一定要实现该方法  
 4
 5 p.terminate():强制终止进程p,不会进行任何清理操作,如果p创建了子进程,该子进程就成了僵尸进程,使用该方法需要特别小心这种情况。如果p还保存了一个锁那么也将不会被释放,进而导致死锁
 6
 7 p.is_alive():如果p仍然运行,返回True
 8
 9 p.join([timeout]):主线程等待p终止(强调:是主线程处于等的状态,而p是处于运行的状态)。timeout是可选的超时时间,需要强调的是,p.join只能join住start开启的进程,而不能join住run开启的进程  

属性介绍:

1 p.daemon:默认值为False,如果设为True,代表p为后台运行的守护进程,当p的父进程终止时,p也随之终止,并且设定为True后,p不能创建自己的新进程,必须在p.start()之前设置
2 
3 p.name:进程的名称
4 
5 p.pid:进程的pid
6 
7 p.exitcode:进程在运行时为None、如果为–N,表示被信号N结束(了解即可)
8 
9 p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性,这类连接只有在具有相同的身份验证键时才能成功(了解即可)

Process类的使用

在windows中Process()必须放到# if name == ‘main‘:下

由于Windows没有fork,多处理模块启动一个新的Python进程并导入调用模块。 
如果在导入时调用Process(),那么这将启动无限继承的新进程(或直到机器耗尽资源)。 
这是隐藏对Process()内部调用的原,使用if __name__ == “__main __”,这个if语句中的语句将不会在导入时被调用

三、创建并开启子进程

#开进程的方法一:
import time
import random
from multiprocessing import Process
def piao(name):
    print('%s piaoing' %name)
    time.sleep(random.randrange(1,5))
    print('%s piao end' %name)



p1=Process(target=piao,args=('A',)) #必须加,号
p2=Process(target=piao,args=('B',))
p3=Process(target=piao,args=('C',))
p4=Process(target=piao,args=('D',))

p1.start()
p2.start()
p3.start()
p4.start()
print('主线程')
#开进程的方法二:
import time
import random
from multiprocessing import Process


class Piao(Process):
    def __init__(self,name):
        super().__init__()
        self.name=name
    def run(self):
        print('%s piaoing' %self.name)

        time.sleep(random.randrange(1,5))
        print('%s piao end' %self.name)

p1=Piao('A')
p2=Piao('B')
p3=Piao('C')
p4=Piao('D')

p1.start() #start会自动调用run
p2.start()
p3.start()
p4.start()
print('主线程')

以上是关于python进程------multiprocessing包的主要内容,如果未能解决你的问题,请参考以下文章

python 进程池的使用

python并发之multiprocessing

Python爬虫提速小技巧,多线程与多进程(附源码示例)

准确确定在 Python 多处理期间腌制的内容

python 对mongodb进行压力测试

使用 Python 多处理进行通信的 OSX 和 Linux 之间的性能差异