python3 系统编程进程

Posted 2020-10-28 Guan_zi

• 进程的创建-fork　　

　　进程vs程序

　　编写完毕的代码，在没有运行的时候，称之为程序。

　　正在运行着的代码，就称为进程。进程除包含代码以外，还有需要运行的环境等，所以和程序是有区别的。

　　fork()

　　Python的os模块封装了常见的系统调用，其中就包括fork，可以在Python程序中轻松创建子进程：

　　说明：

　　程序执行到os.fork()时，操作系统会创建一个新的进程（子进程），然后复制父进程的所有信息到子进程中。

　　然后父进程和子进程都会从fork()函数中得到一个返回值，在子进程中这个值一定是0，而父进程中是子进程的id号。

　　在Unix/Linux操作系统中，提供了一个fork()系统函数，他非常特殊。普通函数调用一次，返回一次，但是fork()调用一次，返回两次，因为操作系统自动把当前进程（称为父进程）复制了一份（称为子进程），然后，分别在父进程和子进程内返回。

　　子进程永远返回零，而父进程返回子进程的ID。这样做的理由是，一个父进程可以fork出很多子进程，所以，父进程要记下每一个子进程的ID，而子进程只需调用getppid()就可以拿到父进程的ID.

　　getpid()　 getppid()

• 　　多进程修改全局变量

　　总结：

　　多进程中，每个进程所有数据（包括全局变量）都各自拥有一份，互补影响。

 

• 　　多次fork问题

　　如果在一个程序，有两次fork函数调用，是否就会有三个进程/

说明：

 

multiprocessing

multiprocessing模块是跨平台版本的多进程模块。

 

　　说明：

　　　　创建子进程时，只需要传入一个执行函数和函数的参数，创建一个Process实例，用start()方法启动，这样创建进程比fork()还要简单。

　　　　join()方法可以等待子进程结束后再继续往下运行，通常用于进程间的同步。

　　Process语法结构如下：

　　Process([group[,targer[,name[,args[,kwargs]]]]])

　　　　target:表示这个进程实例所调用对象；

　　　　args:表示调用对象的位置参数元组；

　　　　kwargs:表示调用对象的关键字参数字典；

　　　　name:为当前进程实例的别名；

　　　　group:大多数情况下用不到；

　　Process类常用方法：

　　　　is_alive():判断进程实例是否还在执行;

　　　　join（[timeout]）:是否等待进程实例执行结束，或等待多少秒；

　　　　start():启动进程实例（创建子进程）；

　　　　run():如果没有给定target参数，对这个对象调用start()方法时，就将执行对象中的run()方法；

　　　　terminate():不管任务是否完成，立即终止。

　　Process类常用属性：

　　　　name:当前进程实例别名，默认为Process-N，N为从开始递增的整数;

　　　　pid: 当前进程实例的PID值；

实例1

 

 实例2

 

　　进程的创建-Process子类

　　创建新的进程还能使用类的方式，可以定义一个类，继承Process类，每次实例化这个类的时候，就等同于实例化一个进程对象，请看下面的实例

　　　进程池Pool

　　当需要创建的子进程数量不多时，可以直接利用multiprocessing中的Process动态生成多个进程，但如果是成千上百个目标，手动的去创建进程的工作量巨大，此时就可以用到multiprocessing模块提供的Pool方法。

　　初始化Pool时，可以指定一个最大进程数，当有新的请求提交到Pool中时，如果池还没有满，那么就会创建一个新的进程来执行该请求；但如果池中的进程数已达到指定的最大值，那么该请求就会等待，直到池中有进程结束，才会创建新的进程来执行，请看下面的实例：

 

　　multiprocessing.Pool常用函数解析：

　　apply_async(func[,args[,kwargs]]): 使用飞阻塞方式调用func (并行执行，堵塞方式必须等待上一个进程退出才能执行下一个进程)，args为传递给func的参数列表，kwargs为传递给func的关键字参数列表；

　　apply(func[,args[,kwargs]]):使用阻塞方式调用func

　　close():关闭Pool，使其不再接收新的任务；

　　terminate():不管任务是否完成，立即终止；

　　join():主进程阻塞，等待子进程的退出，必须在close或terminate之后使用；

 

　　apply堵塞式

　　　　进程间的通信-Queue

　　Process之间有时需要通信，操作系统提供了很多机制来实现进程间的通信。

　　使用Queue，可以multiprocessing模块的Queue实现多进程之间的数据传递，Queue本身是一个消息队列程序，首先使用一个小实例来演示一下Queue的工作原理：

　　初始化Queue()对象时(例如:q=Queue()),若括号中没有指定最大可接收的消息数量,或数量为负值,那么就代表可接受的消息数量没有上限(直到内存的尽头);
　　Queue.qsize():返回当前队列包含的消息数量;
　　Queue.empty():如果队列为空,返回True,反之False    ;
　　Queue.full():如果队列满了,返回True,反之False;
　　Queue.get([block[,    timeout]]):获取队列中的一条消息,然后将其从列队中移除,block默认值为True;
　　　　1)如果block使用默认值,且没有设置timeout(单位秒),消息列队如果为空,此时程序将被阻塞(停在读取状态),直到从消息列队读到消息为止,如果设置了timeout,则会等待timeout秒,若还没读取到任何消息,则抛
出"Queue.Empty"异常;
　　
　　2)如果block值为False,消息列队如果为空,则会立刻抛出"Queue.Empty"异常;Queue.get_nowait():相当　　　　　　Queue.get(False);
　　　　Queue.put(item,[block[,    timeout]]):将item消息写入队列,block默认值为True;
　　　　1)如果block使用默认值,且没有设置timeout(单位秒),消息列队如果已经没有空间可写入,此时程序将被阻塞(停在写入状态),直到从消息列队腾出空间为止,如果设置了timeout,则会等待timeout秒,若还没空间,则抛
出"Queue.Full"异常;
　　　　2)如果block值为False,消息列队如果没有空间可写入,则会立刻抛出"Queue.Full"异常;Queue.put_nowait(item):相当Queue.put(item,    False);

 　　2.    Queue实例
　　我们以Queue为例,在父进程中创建两个子进程,一个往Queue里写数据,一个从Queue里读数据:

3.    进程池中的Queue
如果要使用Pool创建进程,就需要使用multiprocessing.Manager()中的Queue(),而不是multiprocessing.Queue(),否则会得到一条如下的错误信息:RuntimeError:    Queue    objects    should    only    be    shared    between    processesthrough    inheritance.
下面的实例演示了进程池中的进程如何通信: