进程间的通信-队列/管道以及进程间的数据共享和进程池

Posted 2020-12-25 auxiaoliu

1. 进程之间的通信
　　1)队列 *****
　　2)管道 ***
2  进程之间的数据共享 *
3  进程池 ***** 

 

 

进程间通信

IPC(Inter-Process Communication)

进程的概念:

创建共享的进程队列，Queue是多进程安全的队列，可以使用Queue实现多进程之间的数据传递。 

Queue([maxsize]) 
创建共享的进程队列。
参数 ：maxsize是队列中允许的最大项数。如果省略此参数，则无大小限制。
底层队列使用管道和锁定实现。

Queue([maxsize]) 
创建共享的进程队列。maxsize是队列中允许的最大项数。如果省略此参数，则无大小限制。底层队列使用管道和锁定实现。另外，还需要运行支持线程以便队列中的数据传输到底层管道中。 
Queue的实例q具有以下方法：

q.get( [ block [ ,timeout ] ] ) 
返回q中的一个项目。如果q为空，此方法将阻塞，直到队列中有项目可用为止。block用于控制阻塞行为，默认为True. 如果设置为False，将引发Queue.Empty异常（定义在Queue模块中）。timeout是可选超时时间，用在阻塞模式中。如果在制定的时间间隔内没有项目变为可用，将引发Queue.Empty异常。

q.get_nowait( ) 
同q.get(False)方法。

q.put(item [, block [,timeout ] ] ) 
将item放入队列。如果队列已满，此方法将阻塞至有空间可用为止。block控制阻塞行为，默认为True。如果设置为False，将引发Queue.Empty异常（定义在Queue库模块中）。timeout指定在阻塞模式中等待可用空间的时间长短。超时后将引发Queue.Full异常。

q.qsize() 
返回队列中目前项目的正确数量。此函数的结果并不可靠，因为在返回结果和在稍后程序中使用结果之间，队列中可能添加或删除了项目。在某些系统上，此方法可能引发NotImplementedError异常。


q.empty() 
如果调用此方法时 q为空，返回True。如果其他进程或线程正在往队列中添加项目，结果是不可靠的。也就是说，在返回和使用结果之间，队列中可能已经加入新的项目。

q.full() 
如果q已满，返回为True. 由于线程的存在，结果也可能是不可靠的（参考q.empty（）方法）。。

其他相关方法(不常用)

q.close() 
关闭队列，防止队列中加入更多数据。调用此方法时，后台线程将继续写入那些已入队列但尚未写入的数据，但将在此方法完成时马上关闭。如果q被垃圾收集，将自动调用此方法。关闭队列不会在队列使用者中生成任何类型的数据结束信号或异常。例如，如果某个使用者正被阻塞在get（）操作上，关闭生产者中的队列不会导致get（）方法返回错误。

q.cancel_join_thread() 
不会再进程退出时自动连接后台线程。这可以防止join_thread()方法阻塞。

q.join_thread() 
连接队列的后台线程。此方法用于在调用q.close()方法后，等待所有队列项被消耗。默认情况下，此方法由不是q的原始创建者的所有进程调用。调用q.cancel_join_thread()方法可以禁止这种行为。

"""
multiprocessing 模块支持进程间通信的两种主要形式:管道和队列
都是基于消息传递来实现的,都是队列接口


"""
from multiprocessing import Queue
q = Queue(3)

#put ,get ,put_nowait,get_nowait,full,empty
q.put(2)
q.put(3)
q.put(4)
q.put(5) #如果队列满了,程序就会停在这里,等待数据被别人取走,再将数据放入队列.
#另外如果队列中的数据一直不被取走,程序就会永远停在这里

try:
    q.put_nowait(3) #可以使用put_nowait(),如果队列满了不会阻塞,但是会因为队列满了而报错.
except:#因此我们可以用一个try语句来处理这个错误,这样程序不会一直阻塞下去,但是会丢掉这个信息.
    print("队列已经满了")
#因此,我们再放入数据之前,可以先看一下队列的状态,如果已经满了,就不继续put了.
print(q.full()) #满了
print(q.get())
print(q.get())
print(q.get())
# print(q.get()) # 同put方法一样，如果队列已经空了，那么继续取就会出现阻塞。
try:
    q.get_nowait(3) # 可以使用get_nowait，如果队列满了不会阻塞，但是会因为没取到值而报错。
except: # 因此我们可以用一个try语句来处理这个错误。这样程序不会一直阻塞下去。
    print(‘队列已经空了‘)

print(q.empty()) #空了

下面是一个简单多进程的示例:

from multiprocessing import Queue,Process


def fun(q):
    q.put(3)

if __name__ == ‘__main__‘:
    q = Queue()
    Process(target=fun,args=(q,)).start()
    print(q.get())