python全栈开发基础第二十篇利用multiprocessing模块开进程

Posted 呆萌小河马的博客

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python全栈开发基础第二十篇利用multiprocessing模块开进程相关的知识,希望对你有一定的参考价值。

一、multiprocessing模块介绍

 python中的多线程无法利用CPU资源(主要指计算密集型任务),在python中大部分情况使用多进程。python中提供了非常好的多进程包multiprocessing。

multiprocessing模块用来开启子进程,并在子进程中执行功能(函数),该模块与多线程模块threading的编程接口类似。

multiprocessing的功能众多:支持子进程、通信和共享数据、执行不同形式的同步,提供了Process、Queue、Pipe、Lock等组件。

 

二、Process类的介绍

1.创建进程的类

Process([group [, target [, name [, args [, kwargs]]]]]),由该类实例化得到的对象,表示一个子进程中的任务(尚未启动)

强调:
1. 需要使用关键字的方式来指定参数
2. args指定的为传给target函数的位置参数,是一个元组形式,必须有逗号

2.参数介绍

group参数未使用,值始终为None

target表示调用对象,即子进程要执行的任务

args表示调用对象的位置参数元组,args=(1,2,egon,)

kwargs表示调用对象的字典,kwargs={name:egon,age:18}

name为子进程的名称

3.方法介绍

p.start():启动进程,并调用该子进程中的p.run() 
p.run():进程启动时运行的方法,正是它去调用target指定的函数,我们自定义类的类中一定要实现该方法  

p.terminate():强制终止进程p,不会进行任何清理操作,如果p创建了子进程,该子进程就成了僵尸进程,使用该方法需要特别小心这种情况。
如果p还保存了一个锁那么也将不会被释放,进而导致死锁
p.is_alive():如果p仍然运行,返回True

p.join([timeout]):主线程等待p终止(强调:是主线程处于等的状态,而p是处于运行的状态)。timeout是可选的超时时间,
需要强调的是,p.join只能join住start开启的进程,而不能join住run开启的进程

4.属性介绍

p.daemon:默认值为False,如果设为True,代表p为后台运行的守护进程,当p的父进程终止时,p也随之终止,并且设定为True后,p不能创建自己的新进程,必须在p.start()之前设置

p.name:进程的名称

p.pid:进程的pid

p.exitcode:进程在运行时为None、如果为–N,表示被信号N结束(了解即可)

p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络连接的底层进程间通信提供安全性,这类连接只有在具有相同的身份验证键时才能成功(了解即可)

 

 

三、Process类的使用

一定要把开进程的代码写在if __name__==‘__main__‘:下面

开一个进程和主进程是并发的关系,我start一下就是先告诉操作系统我要开一个进程
,然而它不会等待,他会去执行下面的代码,完了他吧进程开始后,就开始执行了

strat():方法的功能

  1.开启进程
  2.执行功能

 

四、开启进程的两种方式

#第一种方式
from multiprocessing import Process
import time
import random
def piao(name):
    print(‘%s is piaoing‘%name)
    time.sleep(random.randint(1,3))
    print(‘%s is piao end‘%name)
if __name__ ==‘__main__‘:
    p1 = Process(target=piao,kwargs={‘name‘:‘alex‘})
    p2 = Process(target=piao,kwargs={‘name‘:‘alex‘})
    p3 = Process(target=piao,kwargs={‘name‘:‘alex‘})
    p1.start()
    p2.start()
    p3.start()
    print(‘主进程‘)
#第二种方式
from multiprocessing import Process
import time
import random
import os
class Piao(Process):
    def __init__(self,name):
        super().__init__() #必须继承父类的一些属性
        self.name = name
    def run(self):  #必须得实现一个run方法
        print(os.getppid(),os.getpid())
        print(‘%s is piaoing‘%self.name)
        time.sleep(random.randint(1,3))
        print(‘%s is piao end‘%self.name)
if __name__ ==‘__main__‘:
    p1 = Piao(‘alex‘)
    p2 = Piao(‘wupeiqi‘)
    p3 = Piao(‘yuanhao‘)
    p1.start()
    p2.start()
    p3.start()
    print(‘主进程‘,os.getpid())

getppid()父进程id
getpid() #当前进程id

 

五、多进程实现套接字并发

 

#服务端
from socket import *
from multiprocessing import Process
s = socket(AF_INET,SOCK_STREAM)
s.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
s.bind((‘127.0.0.1‘,8081))
s.listen(5)
print(‘start running...‘)
def talk(coon,addr):
    while True:
        try:
            data = coon.recv(1024)
            if not data: break
            coon.send(data.upper())
        except Exception:
            break
    coon.close()

if __name__ == ‘__main__‘:
    while True:
        coon,addr = s.accept()
        print(coon,addr)
        p =Process(target=talk,args=(coon,addr))
        p.start()
    s.close()
#客户端
from socket import *
c = socket(AF_INET,SOCK_STREAM)
c.connect((‘127.0.0.1‘,8081))
while True:
    cmd = input(‘>>:‘).strip()
    if not cmd:continue
    c.send(cmd.encode(‘utf-8‘))
    data = c.recv(1024)
    print(data.decode(‘utf-8‘))
c.close()

  

 




以上是关于python全栈开发基础第二十篇利用multiprocessing模块开进程的主要内容,如果未能解决你的问题,请参考以下文章

python全栈开发基础第二十四篇(利用threading模块开线程join与守护线程GIL与Lock)

第二十篇 sys模块

python全栈开发基础第二十七篇IO模型

python全栈开发基础第二十三篇线程

Python开发第二十篇:缓存

python全栈开发基础第二十二篇进程池和回调函数