使用 Azure IRT 传输的同时数据量的最大吞吐量或上传限制是多少?

Posted

技术标签:

【中文标题】使用 Azure IRT 传输的同时数据量的最大吞吐量或上传限制是多少?【英文标题】:What is the maximum throughput or upload limit on the amount of simultaneous data being transferred using an Azure IRT? 【发布时间】:2021-12-31 10:12:41 【问题描述】:

在管道和/或活动可能超时或失败之前,使用 Azure IRT 作为 Azure 数据工厂的一部分传输的同时数据量是否存在最大吞吐量或上传限制?

【问题讨论】:

【参考方案1】:

好问题。答案是我们无法判断

有一篇关于 Hyperscale throughput 的有趣文章,而我围绕吞吐量所做的大部分研究都没有给我一个具体的答案。

在同一篇文章中,您可以找到如下评论:

不要为 Azure 数据工厂而烦恼。由于某种原因与类型 从 blob 转换为 Azure SQL,也将 Azure SQL 数据库转换为 源,吞吐量是巨大的。从 6 MB/s 到 13 MB/s 高 传输 1 个表的服务层级,总共 5GB。那是超越 不好。

所以要考虑的因素太多了:数据来自哪里,数据去哪里,你使用的产品等等......

您可能需要通过 Azure 支持打开(付费)票证,并询问他们是否进行了硬编码以触发超时。但根据我的经验,我看到从 SQL Server 到 Azure SQL DB 的简单数据库迁移无缘无故失败,然后在第二次尝试时完成。

【讨论】:

以上是关于使用 Azure IRT 传输的同时数据量的最大吞吐量或上传限制是多少?的主要内容,如果未能解决你的问题,请参考以下文章

史上最大的定格动画《吞》英文:gulp

Azure 函数当时仅最大并发

oracle 大数据量 删除插入 有啥影响

Azure Data PlatformETL工具——使用Azure Data Factory数据流传输数据

Azure数据传输计费模式

IRT模型的参数估计方法(EM算法和MCMC算法)