从azure存储容器下载多个小文件时速度慢，延迟高

Posted 2021-03-27

我正在尝试将azure blob存储容器的数据下载到我的机器上。它包含多个小文件，每个文件12-60 KB。当我使用Microsoft Azure Storage Explorer应用程序时，它会一次下载不超过几百个项目，然后在尝试下载下一批次之前暂停几十分钟。这使得下载速度大致低于3 KB / s，这非常可怕。

我也尝试使用开源npm包下载容器文件，结果类似。

有没有办法减少延迟/增加速度？或者有更好的方法来下载所有容器数据吗？

答案

实际上它取决于您（本地）机器的网络速度。因此，您可以尝试在同一区域中创建一个小实例，然后下载到该实例。它比你的本地机器快得多。然后尝试将总文件和ftp存档回本地计算机。