压缩和导航大型压缩目录的策略

Posted 2023-03-06

【中文标题】压缩和导航大型压缩目录的策略

【英文标题】：Strategy for compressing and navigating large compressed directories

【发布时间】：2020-01-02 19:35:32

【问题描述】：

我管理一个计算机集群。它是一个多用户系统。我有一个充满文件的大目录（大小为 TB）。我想压缩它，以便拥有它的用户可以节省空间并仍然能够从中提取文件。

可能解决方案的挑战：

tar ：由于 tar 的随机访问读取能力差，目录的大小使得解压后续 tarball 具有挑战性。我指的是规范的压缩方式，即tar cvzf mytarball.tar.gz mybigdir

squashfs ：这似乎是一个很好的解决方案，除了为了挂载它，它需要requires root 访问权限。我真的不想每次他们想要访问文件时都参与挂载他们的 squashfs 文件。

Compress then tar ：我可以先压缩文件，然后使用tar 创建存档。这样做的缺点是我不会通过压缩节省尽可能多的空间，也不会取回任何 inode。

以前曾提出过类似问题 (here)，但解决方案不适用于这种情况。

问题：

有没有一种方便的方法来压缩一个大目录，以便快速轻松地导航并且不需要 root 权限？

【参考方案1】：

您将它添加到标签中，但不要提及它。对我来说zip 是管理大型档案（包含许多文件）的最简单方法。而且 tar+gzip 实际上是两步操作，需要特殊操作来加速。 zip 适用于许多平台，因此您也可以在这个方向上获胜。

【讨论】：

可以举个例子吗？

@irritable_phd_syndrom，你的问题太宽泛了。更多地关注具体问题，以便我提供示例。