python：multiprocessing.Pipe和重定向标准输出

Posted 2023-02-16

【中文标题】python：multiprocessing.Pipe和重定向标准输出

【英文标题】：python: multiprocessing.Pipe and redirecting stdout

【发布时间】：2018-07-20 15:37:04

【问题描述】：

我正在使用multiprocessing 包来生成第二个进程，我想从中将stdout 和stderr 重定向到第一个进程中。我正在使用multiprocessing.Pipe 对象：

dup2(output_pipe.fileno(), 1)

其中output_pipe 是multiprocessing.Pipe 的一个实例。但是，当我尝试在另一端阅读时，它只是挂起。我尝试使用带有限制的Pipe.recv_bytes 阅读，但这会引发OSError。这有可能吗，还是我应该切换到一些较低级别的管道功能？

【问题讨论】：

您能否添加一个完整的、可运行的示例来演示您的错误？

【参考方案1】：

现有答案适用于原始文件描述符，但这可能对使用 Pipe.send() 和 recv 有用：

    class PipeTee(object):
        def __init__(self, pipe):
            self.pipe = pipe
            self.stdout = sys.stdout
            sys.stdout = self

        def write(self, data):
            self.stdout.write(data)
            self.pipe.send(data)

        def flush(self):
            self.stdout.flush()

        def __del__(self):
            sys.stdout = self.stdout

要使用它，请在您的多进程函数中创建对象，将multiprocessing.Pipe 的写入端传递给它，然后使用recv 在父进程上使用读取端，使用poll 检查数据是否存在。

【参考方案2】：

在 Python 2.7 中进行实验后，我得到了这个工作示例。使用os.dup2 管道的文件描述符被复制到标准输出文件描述符，每个print 函数最终写入管道。

import os
import multiprocessing


def tester_method(w):
    os.dup2(w.fileno(), 1)

    for i in range(3):
        print 'This is a message!'


if __name__ == '__main__':
    r, w = multiprocessing.Pipe()

    reader = os.fdopen(r.fileno(), 'r')

    process = multiprocessing.Process(None, tester_method, 'TESTER', (w,))
    process.start()

    for i in range(3):
        print 'From pipe: %s' % reader.readline()

    reader.close()
    process.join()

输出：

From pipe: This is a message!

From pipe: This is a message!

From pipe: This is a message!

【讨论】：

嗨，它确实有效，但是当从管道读取时：r.recv() 它没有。您知道为什么，或者如何检查（非阻塞）读者是否有要阅读的内容吗？

@RadoslawGarbacz 你必须使用w.send，然后按照docs.python.org/2/library/multiprocessing.html#Connection.recv。

收到此错误 - OSError: [Errno 9] os.fdopen 语句的文件描述符错误。知道如何解决这个问题吗？

注意 - 刚刚在 Linux 中尝试过，此代码有效，而相同的代码在 Windows 中失败 - OSError: [Errno 9] Bad file descriptor

我在windows上试了一下，报OSError: [Errno 6] The handle is invalid.