使用 azcopy 进行并行复制

Posted 2023-03-28

【中文标题】使用 azcopy 进行并行复制

【英文标题】：Parallel Copy using azcopy

【发布时间】：2021-06-27 14:37:12

【问题描述】：

我经常使用 azcopy 将模型从 Azure Blob 存储复制到 Azure VM。但是当我将数据集复制到我的 VM 时，我正在使用 Azure 文件共享并使用 cp 命令将数据移动到数据磁盘中。我想利用 Azcopy 并行复制数据。我相信有一次我听说 AzCopy 并行复制数据，但我找不到那个说法。可能我听错了。

我还在 *** 上看到了另一个 question，它谈到了 azcopy 中的并行性。答案提供了指向 azcopy 文档的链接并谈到了 --parallel-level 但是当我点击它时，并没有像它所说的那样。

如果有人可以将我重定向到 azcopy 并行文档链接（如果存在），那将非常有帮助。

【问题讨论】：

你试过AZCOPY_CONCURRENCY_VALUE吗？请检查设置环境变量是否有帮助 - Reference Doc

感谢@AbhinandanBharamgunde 提供的信息和链接。

【参考方案1】：

AzCopy 默认并行复制数据，但您可以更改并行复制的文件数量。

传输小文件时吞吐量可能会降低。你可以 通过设置 AZCOPY_CONCURRENCY_VALUE 增加吞吐量 环境变量。该变量指定并发数 可能发生的请求。

如果您的计算机的 CPU 少于 5 个，那么这个值 变量设置为 32。否则，默认值等于 16 乘以 CPU 数量。这个的最大默认值 变量为 3000，但您可以手动将此值设置为更高或更低。

https://docs.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-configure#optimize-throughput

【讨论】：

感谢@ShirazBhaiji 提供的信息和链接。