Polybase 外部表与 OPENROWSET 无服务器 sql 池架构

Posted

技术标签:

【中文标题】Polybase 外部表与 OPENROWSET 无服务器 sql 池架构【英文标题】:Polybase External Tables vs. OPENROWSET serverless sql pool architecture 【发布时间】:2021-08-26 00:31:09 【问题描述】:

我正在寻找使用带有 polybase 与无服务器 sql 池和 OPENROWSET 视图的外部表使用标准专用 sql 池查询 parquet ADLS 文件的性能基准。 从我对 15 亿条记录表的基本查询来看,在给定相同查询时间的情况下,无服务器 sql 池中的 OPENROWSET 的性能确实提高了大约 30%,但支持该功能的架构是什么?是否有现成的性能基准?

【问题讨论】:

【参考方案1】:

本文描述了 Azure Synapse SQL Serverless Pools 背后的架构以及它如何实现如此强大的性能,它被称为“Polaris”。

http://www.vldb.org/pvldb/vol13/p3204-saborit.pdf

性能基准已在多个博客上发布。请注意,这只是一个及时的快照,因为这些功能正在不断改进。

【讨论】:

以上是关于Polybase 外部表与 OPENROWSET 无服务器 sql 池架构的主要内容,如果未能解决你的问题,请参考以下文章

Azure Synapse Polybase/外部表 - 我们可以在创建外部表时从文件中获取行号吗

使用 Polybase 在 SQL Server 2016 中创建外部表的问题

Azure Synapse Polybase/外部表 - 仅返回最新文件

SQL Server 2019 中 Polybase 外部表的行级安全性可能吗?

Polybase:将数据从外部表加载到特定日期/时间范围的根 blob 文件夹

SQL Server 2016 使用 sql 用户通过 azure blob 存储上的 polybase 访问外部表 - 访问被拒绝,因为没有登录映射