在 python 进程之间传递二进制数据

Posted

技术标签:

【中文标题】在 python 进程之间传递二进制数据【英文标题】:Pass binary data between python processes 【发布时间】:2018-08-07 20:49:12 【问题描述】:

我需要在 linux 上的 python 进程之间有效地传输二进制数据。但是我找不到用管道传递它的方法。我得到的最接近的是将它作为字符串传递,但由于某种原因它保持其二进制形式,所以它给我带来了问题。

ciphertext, tag = cipher1.encrypt_and_digest(input().encode())
print(ciphertext)

密文是二进制的,但是当我在另一个进程中测试它的类型时

print(type(sys.stdin.read()))

我明白了

<class 'str'>

有什么想法吗?

【问题讨论】:

向我们展示您的代码并提供详细的错误描述。 print 将把值输出到stdout 可以通过管道传输。你能抛出一个堆栈跟踪给我们看吗? 您是否在寻找multiprocessing.Pipemultiprocessing.Queue @C.Nivs 我用 print 尝试过,但它输出为字符串,我编辑了我的问题。 不要使用printinput。它们用于文本,而不是二进制。您可以使用文件.write.read 调用sys.stdout.buffersys.stdin.buffer,它们是标准输入和标准输出的底层二进制缓冲区。如果你愿意,我可以写一个快速演示。 【参考方案1】:

在 Python 3 中,您不能将 printinput 用于二进制数据。它们是为处理文本(Unicode)而不是二进制而设计的。您可以使用文件.write.read 调用sys.stdout.buffersys.stdin.buffer,它们是标准输入和标准输出的底层二进制缓冲区。您不能使用sys.stdoutsys.stdin,因为它们用于文本。在docs for sys.stdin and sys.stdout 的末尾有一个简短的说明。

这是一个简短的演示。

在“send_bytes.py”中,我们创建一个包含所有可能字节值的bytes 字符串data,并将其写入sys.stdout.buffer。我们将该输出通过管道传输到“get_bytes.py”,并在其中读取它并检查以确保它在正确的位置包含所有正确的字节。

send_bytes.py

#! /usr/bin/env python3

''' Write some binary data to stdout '''

import sys

# Make a bytes string containing all possible byte values
data = bytes(range(256))

#Send it as binary to stdout
out = sys.stdout.buffer
out.write(data)

get_bytes.py

#! /usr/bin/env python3

''' Read some binary data from stdin '''

import sys

#Read binary data from stdin
infile = sys.stdin.buffer
newdata = infile.read()

print(newdata)

# Make a bytes string containing all possible byte values
data = bytes(range(256))

#Check that the read data is correct
print(newdata == data)    

我们使用这个命令行运行程序:

$ python3 ./send_bytes0.py | python3 ./get_bytes0.py   

这是“get_bytes0.py”打印的输出

b'\x00\x01\x02\x03\x04\x05\x06\x07\x08\t\n\x0b\x0c\r\x0e\x0f\x10\x11\x12\x13\x14\x15\x16\x17\x18\x19\x1a\x1b\x1c\x1d\x1e\x1f !"#$%&\'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\\]^_`abcdefghijklmnopqrstuvwxyz|~\x7f\x80\x81\x82\x83\x84\x85\x86\x87\x88\x89\x8a\x8b\x8c\x8d\x8e\x8f\x90\x91\x92\x93\x94\x95\x96\x97\x98\x99\x9a\x9b\x9c\x9d\x9e\x9f\xa0\xa1\xa2\xa3\xa4\xa5\xa6\xa7\xa8\xa9\xaa\xab\xac\xad\xae\xaf\xb0\xb1\xb2\xb3\xb4\xb5\xb6\xb7\xb8\xb9\xba\xbb\xbc\xbd\xbe\xbf\xc0\xc1\xc2\xc3\xc4\xc5\xc6\xc7\xc8\xc9\xca\xcb\xcc\xcd\xce\xcf\xd0\xd1\xd2\xd3\xd4\xd5\xd6\xd7\xd8\xd9\xda\xdb\xdc\xdd\xde\xdf\xe0\xe1\xe2\xe3\xe4\xe5\xe6\xe7\xe8\xe9\xea\xeb\xec\xed\xee\xef\xf0\xf1\xf2\xf3\xf4\xf5\xf6\xf7\xf8\xf9\xfa\xfb\xfc\xfd\xfe\xff'
True

【讨论】:

以上是关于在 python 进程之间传递二进制数据的主要内容,如果未能解决你的问题,请参考以下文章

在 python 和 c++ 之间传递二进制数据

如何在 Linux 中的进程之间交换二进制数据

Linux 中 Python 父进程和 C 子进程之间的通信

在 Python 进程之间共享一个大的(只读)二进制字符串? [复制]

使用队列在两个 BackgroundWorker 之间传递数据

socket库:Python实现组播与发送二进制数据