Python：azure-storage-blob 需要 6 分钟才能将 20MB 文件下载到本地
Posted
技术标签:
【中文标题】Python：azure-storage-blob 需要 6 分钟才能将 20MB 文件下载到本地【英文标题】：Python: azure-storage-blob takes 6 min to download a 20MB file to local 【发布时间】：2020-12-02 05:20:50 【问题描述】：我必须从 Azure 存储下载 .parqeat 文件并分析数据。 所以我开始使用带有 azure-storage-blob 库和 Pandas 的 python 代码来存储 DataFrames 和烧瓶来创建响应 API。 但是现在 Azure 存储中的文件大小已增加到 30MB（一天文件），并且经过测试，将 20MB 文件下载到我的本地需要 6 分钟，这是我负担不起的，因为我必须分析一个月中每一天的文件，每个将有 20 MB。这几乎是 3020MB 大小。 有什么建议吗？
【问题讨论】：
【参考方案1】：你找到答案了吗？如果没有代码 sn-p，就很难诊断出您的问题。 Azure Blob 存储支持并行读取。如果您有BatchServiceClient 服务，那将很简单。否则，请尝试Multiprocessing 模块。氪
【讨论】：
以上是关于Python：azure-storage-blob 需要 6 分钟才能将 20MB 文件下载到本地的主要内容，如果未能解决你的问题，请参考以下文章
在 azure 中创建 webjob 时出现 python 包安装错误