Python学习第19篇:利用multiprocessing模块开进程

Posted 康琛

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python学习第19篇:利用multiprocessing模块开进程相关的知识,希望对你有一定的参考价值。

一、multiprocessing模块介绍

 python中的多线程无法利用CPU资源,在python中大部分情况使用多进程。python中提供了非常好的多进程包multiprocessing。

multiprocessing模块用来开启子进程,并在子进程中执行功能(函数),该模块与多线程模块threading的编程接口类似。

multiprocessing的功能众多:支持子进程、通信和共享数据、执行不同形式的同步,提供了Process、Queue、Pipe、Lock等组件。

二、Process类的介绍

1.创建进程的类

Process([group [, target [, name [, args [, kwargs]]]]]),由该类实例化得到的对象,表示一个子进程中的任务(尚未启动)

强调:
1. 需要使用关键字的方式来指定参数
2. args指定的为传给target函数的位置参数,是一个元组形式,必须有逗号

2.参数介绍

复制代码
1 group参数未使用,值始终为None
2 
3 target表示调用对象,即子进程要执行的任务
4 
5 args表示调用对象的位置参数元组,args=(1,2,\'egon\',)
6 
7 kwargs表示调用对象的字典,kwargs={\'name\':\'egon\',\'age\':18}
8 
9 name为子进程的名称
复制代码

3.方法介绍

复制代码
1 p.start():启动进程,并调用该子进程中的p.run() 
2 p.run():进程启动时运行的方法,正是它去调用target指定的函数,我们自定义类的类中一定要实现该方法  
3 
4 p.terminate():强制终止进程p,不会进行任何清理操作,如果p创建了子进程,该子进程就成了僵尸进程,使用该方法需要特别小心这种情况。
如果p还保存了一个锁那么也将不会被释放,进而导致死锁 5 p.is_alive():如果p仍然运行,返回True 6 7 p.join([timeout]):主线程等待p终止(强调:是主线程处于等的状态,而p是处于运行的状态)。timeout是可选的超时时间,
需要强调的是,p.join只能join住start开启的进程,而不能join住run开启的进程
复制代码

4.属性介绍

复制代码
p.daemon:默认值为False,如果设为True,代表p为后台运行的守护进程,当p的父进程终止时,p也随之终止,并且设定为True后,p不能创建自己的新进程,必须在p.start()之前设置

p.name:进程的名称

p.pid:进程的pid

p.exitcode:进程在运行时为None、如果为–N,表示被信号N结束(了解即可)

p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性,这类连接只有在具有相同的身份验证键时才能成功(了解即可)
复制代码

三、Process类的使用

一定要把开进程的代码写在if __name__==\'__main__\':下面

开一个进程和主进程是并发的关系,我start一下就是先告诉操作系统我要开一个进程
,然而它不会等待,他会去执行下面的代码,完了他吧进程开始后,就开始执行了

strat():方法的功能

  1.开启进程
  2.执行功能

四、开启进程的两种方式

复制代码
 1 from multiprocessing import Process
 2 import time
 3 import random
 4 def piao(name):
 5     print(\'%s is piaoing\'%name)
 6     time.sleep(random.randint(1,3))
 7     print(\'%s is piao end\'%name)
 8 if __name__ ==\'__main__\':
 9     p1 = Process(target=piao,kwargs={\'name\':\'alex\'})
10     p2 = Process(target=piao,kwargs={\'name\':\'alex\'})
11     p3 = Process(target=piao,kwargs={\'name\':\'alex\'})
12     p1.start()
13     p2.start()
14     p3.start()
15     print(\'主进程\')
复制代码
复制代码
 1 from multiprocessing import Process
 2 import time
 3 import random
 4 import os
 5 class Piao(Process):
 6     def __init__(self,name):
 7         super().__init__() #必须继承父类的一些属性
 8         self.name = name
 9     def run(self):  #必须得实现一个run方法
10         print(os.getppid(),os.getpid())
11         print(\'%s is piaoing\'%self.name)
12         time.sleep(random.randint(1,3))
13         print(\'%s is piao end\'%self.name)
14 if __name__ ==\'__main__\':
15     p1 = Piao(\'alex\')
16     p2 = Piao(\'wupeiqi\')
17     p3 = Piao(\'yuanhao\')
18     p1.start()
19     p2.start()
20     p3.start()
21     print(\'主进程\',os.getpid())
复制代码
 

getppid()父进程id
getpid() #当前进程id

五、多进程实现套接字并发

复制代码
 1 from socket import *
 2 from multiprocessing import Process
 3 s = socket(AF_INET,SOCK_STREAM)
 4 s.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
 5 s.bind((\'127.0.0.1\',8081))
 6 s.listen(5)
 7 print(\'start running...\')
 8 def talk(coon,addr):
 9     while True:
10         try:
11             data = coon.recv(1024)
12             if not data: break
13             coon.send(data.upper())
14         except Exception:
15             break
16     coon.close()
17 
18 if __name__ == \'__main__\':
19     while True:
20         coon,addr = s.accept()
21         print(coon,addr)
22         p =Process(target=talk,args=(coon,addr))
23         p.start()
24     s.close()
复制代码
复制代码
 1 from socket import *
 2 c = socket(AF_INET,SOCK_STREAM)
 3 c.connect((\'127.0.0.1\',8081))
 4 while True:
 5     cmd = input(\'>>:\').strip()
 6     if not cmd:continue
 7     c.send(cmd.encode(\'utf-8\'))
 8     data = c.recv(1024)
 9     print(data.decode(\'utf-8\'))
10 c.close()
复制代码

 

以上是关于Python学习第19篇:利用multiprocessing模块开进程的主要内容,如果未能解决你的问题,请参考以下文章

Python学习第九篇函数

14岁进中科大19岁到麻省理工读博,曹原25岁,今天第8篇Nature

14岁进中科大19岁到麻省理工读博,曹原25岁,今天第8篇Nature

Python学习之旅 —— 基础篇反射冒泡排序算法

Python代码阅读(第19篇):合并多个字典

Python面向对象编程第19篇 只读属性