为啥 Azure Synapse 将存储节点大小限制为 60?
Posted
技术标签:
【中文标题】为啥 Azure Synapse 将存储节点大小限制为 60?【英文标题】:Why does Azure Synapse limit the Storage Node size to 60?为什么 Azure Synapse 将存储节点大小限制为 60? 【发布时间】:2021-09-05 17:29:02 【问题描述】:我看到 Synapse 配置的 SQL 池 (SQL DW) 设计将数据分布限制在 60 个节点。我是否正确理解了这个限制?
如果是这样,Microsoft 是如何以及为什么提供这个特定号码的?为什么是 60 而不是(比如)50 或 70?我要求解释导致产品具有配置限制的设计决策。
【问题讨论】:
【参考方案1】:这是一个有很多因素的数字:)
60 是 SQL 分布的数量,支持 1 到 60 个节点。
我们可以为每个规模配置使用 1、2、3、4、5、6、10、12、15、20、30 或 60 个(我得到所有这些了吗?)可能的节点。
【讨论】:
是的,但问题仍然存在 - 为什么将最大数字设置为 60?为什么不是50?他们是如何决定 60 是数据分布的最佳数字。 @Vibha 因为 50 只支持 4 种配置,而不是 12,因为它只能被 10、5、2 和 1 整除。我们将分布的数量均匀分布在节点上,所以我们需要整体数除数。你可能会问,为什么不是 120?因为那样的话,我们会遇到将所有发行版放在单个节点上的问题。以上是关于为啥 Azure Synapse 将存储节点大小限制为 60?的主要内容,如果未能解决你的问题,请参考以下文章
将 Parquet 文件从 Azure 数据湖存储帐户复制到 Synapse 数据仓库表失败
Azure 数据工厂中的 Azure Synapse 存储过程:是同步调用吗?
使用 ADF 将 azure blob 文件复制到 azure synapse
在 azure synapse 存储过程中将表名作为参数传递时将查询结果分配给变量
为啥有些用户可以在 Synapse 工作区中看到链接的 Azure Data Lake Gen 2 资源,而其他用户却不能?