从 async.subprocess.PIPE 读取

Posted 2023-03-30

【中文标题】从 async.subprocess.PIPE 读取

【英文标题】：read from async.subprocess.PIPE

【发布时间】：2018-06-12 11:54:29

【问题描述】：

return asyncio.create_subprocess_exec(*_cmd, stdout=asyncio.subprocess.PIPE, limit=2 ** 32, stderr=asyncio.subprocess.PIPE, loop=loop)

我使用此代码创建一个异步子进程，然后从标准输出获取消息。

data = await  p.stdout.read(n=height * width * 3)

一切都很好，我从管道中读取的是 2k jpg 2 fps，图像字节大小为 11059200，但我读取时的最大大小始终为 8192，所以我尝试这样做一次。

print("start1" + str(arrow.now()))
loop_size = int(height * width * 3 / 8192 + 1)
print(loop_size)
list = [await  p.stdout.read(n=height * width * 3) for _ in range(loop_size)]
print("start2" + str(arrow.now()))
data = b"".join(list)
print("end" + str(arrow.now()))

好像没问题。

开始22018-06-12T19:44:30.902742+08:00 结束2018-06-12T19:44:30.909693+08:00 2018-06-12T19:44:30.916675+08:00

如果管道是转换大文件，进程将无法立即处理数据，所以程序总是崩溃。

我想知道，为什么从管道接收的数据包是 awlay 8192，我可以像普通的 Subprocess.Pipe.read(bufsize=width*height*3) 一样读取吗？ 这个问题有什么好的建议吗？

the image

【问题讨论】：

如果你还在等着join呢，那么使用await有什么意义呢？您可以禁用二进制文件的缓冲，但如果不改变程序结构，我不确定它是否重要。

@jedwards await 仍然有意义，因为它允许其他协程在数据不可用时运行。编写的代码不正确，因为无法保证数据会以 8192 字节的块的形式到达；我的回答提供了一个正确的选择。

@user4815162342 其实我在windows10上试了一下，数据块大小总是8192，数据可以解析为图片。

这里没有参数，我的意思是没有保证它们的大小将始终为 8192。这种事情可能会受到 asyncio 或程序的实现细节的影响写入管道。

【参考方案1】：

图像字节大小为 11059200，但我读取时的最大大小始终为 8192

StreamReader.read 最多读取指定数量的字节，但可以返回更少的字节，与底层系统调用返回的字节一样多。这通常是一项功能，因为它允许您在数据到达时对其进行处理，同时仍然对一次保存在内存中的数据量实施上限。

在您的代码中，您希望等到整个图像准备就绪，您可以通过调用 readexactly 而不是 read 来做到这一点：

data = await p.stdout.readexactly(height * width * 3)

【讨论】：

是的，你是对的。在我问这个问题之前，我试过这个api。它总是抛出IncompleteReadError，但现在看起来不错。好吧。也许我添加一些代码可以让它工作。跨度>

@user4999758 IncompleteReadError 如果在生成整个消息之前关闭管道，则会引发。也许您的图像尺寸计算有缺陷？