多进程可以加速压缩任务多少？

Posted 2023-03-06

【中文标题】多进程可以加速压缩任务多少？

【英文标题】：how much multiprocess can speed up on compress task?

【发布时间】：2021-02-28 07:46:45

【问题描述】：

我有一个大型压缩任务（压缩 10000 个大文件（每个 > 10 G））

我发现 xz -z 或 gzip 很慢。

所以，我想使用多进程来使压缩并行化。

但我听说高 IO 任务的限制是 IO 速度。

我在硬件设计方面不太擅长。

那么，多进程可以加速压缩吗？

【问题讨论】：

看看这里...***.com/a/34166037/2836621

嘿，使用fxz 或zpaq 都可以使用多个线程。用于压缩或解压缩。

如果您正在执行 100TB 的磁盘读取和几 TB 的写入，我希望您的磁盘子系统配置良好。

【参考方案1】：

是的，可以。压缩通常是计算限制的，而不是 I/O 限制的。您可以使用pigz 来接近 n 个核心的 n 倍加速。