“gsutil -m mv”未运行并行传输

Posted 2023-03-29

【中文标题】“gsutil -m mv”未运行并行传输

【英文标题】："gsutil -m mv" not running parallel transfers

【发布时间】：2015-12-28 16:46:10

【问题描述】：

我正在使用“gsutil -m mv”将大量文件从本地驱动器移动到存储桶中。但是，在传输过程中，它似乎一次只运行一次传输。我检查了顶部，只看到一个运行命令的 python 进程。我已经修改了“parallel_process_count” boto 配置文件中的“parallel_thread_count”，并且没有观察到传输行为的任何变化。即使使用 -m 选项运行 gsutil，我仍然会收到以下消息：

"==> 注意：您正在执行一系列 gsutil 操作，这些操作可能 如果您改为使用 gsutil -m -m ... 请运行得更快 有关详细信息，请参阅“gsutil 帮助选项”下的 -m 部分 关于什么时候 gsutil -m 可以发挥优势。”

以前有没有其他人遇到过这个问题？

操作系统：Centos 6.6 gsutil 版本：4.15 python版本：2.6.6

【问题讨论】：

您的系统在 CPU / RAM 方面的规格是什么，您要上传什么样的文件负载？

系统本身是一个配置8核24GB内存的VM。如果需要，这可以很容易地增加。但是，由于 gsutil 似乎不是多线程的，因此它在资源利用方面几乎没有触及表面。至于文件本身。它大约 15TB，由

【参考方案1】：

这是一个bug in gsutil 4.14-4.15，其中 -m 标志没有为 mv 命令正确传播。它已在 gsutil 4.16 中修复。

【讨论】：

不再需要添加自定义存储库