python MultiProcessing标准库使用Queue通信的注意要点

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python MultiProcessing标准库使用Queue通信的注意要点相关的知识,希望对你有一定的参考价值。

今天原本想研究下MultiProcessing标准库下的进程间通信,根据 MultiProcessing官网 给的提示,有两种方法能够来实现进程间的通信,分别是pipe和queue。因为看queue顺眼,就想着拿queue实现,后来,被坑了....于是有了这篇文章。
我按照 python标准库之MultiProcessing库的研究 (1) 里面的代码来的,结果就是不断的出错,死过就是不出结果,看看程序:

from multiprocessing import Pool, queues
import os


def func(msg, q):
    q.put([msg, None, hello])
    print(os.getpid())


if __name__ == __main__:
    q = queues.Queue()
    pool = Pool(4)
    for i in range(4):
        pool.apply_async(func, (i, q, ))
    print("Mark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~")
    print(q.qsize())
    pool.close()
    pool.join()   # 调用join之前,先调用close函数,否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
    for i in range(q.qsize()):
        print(q.get())

其实没什么,就是在apply_async函数中加了个Queue对象而已。
可是死活就是不行。后来查了这篇文章 python多进程编程:使用Queue,Pool启动子进程失败问题

后来在官网仔细找了下,发现:
技术分享

so,就是我需要再加上一个manager,赶明再试试...




以上是关于python MultiProcessing标准库使用Queue通信的注意要点的主要内容,如果未能解决你的问题,请参考以下文章

Python标准库10 多进程初步 (multiprocessing包)

Python学习笔记18:标准库之多进程(multiprocessing包)

Python并发复习3 - 多进程模块 multiprocessing

常用的python标准库

Python的multiprocessing,Queue,Process

python MultiProcessing模块进程间通信的解惑与回顾