基于 Azure DW 或 Azure SQL 的仪表板报告的最佳实践?
Posted
技术标签:
【中文标题】基于 Azure DW 或 Azure SQL 的仪表板报告的最佳实践?【英文标题】:Best practice to base dashboard reporting on Azure DW or Azure SQL? 【发布时间】:2017-07-27 11:53:15 【问题描述】:我正在努力决定在 Azure DW 或 Azure SQL 上的仪表板报告的位置?
我有一个仪表板,我们在其中针对 50GB 数据运行性能汇总报告查询。我们预计很少有并发用户在其上运行。我创建了一个具有维度和事实表的 Azure DW,ETL 过程将聚合数据推送到 Azure Sql 数据库。因此,我在两个数据库中都有相同的维度和事实表和数据集,我对以下选项感到有些困惑:
-
直接在 DW 中运行我的查询并删除 Azure SQL 数据库
使用 DW 进行 ETL,将聚合数据推送到 Azure SQL 数据库,ETL 后清理 DW,在 Azure Sql 数据库上运行报告查询。 (这样我的维度表数据必须同时存在并维护)。
请根据您的经验和最佳实践提供建议。
谢谢,
【问题讨论】:
【参考方案1】:从你的问题看不清楚,但这是你在做什么?
数据源 -> Azure SQL 数据仓库 -> Azure SQL
如果是这样,我不得不质疑你的意图。
如果您的数据总量只有 50Gb,那么您可能不会从 Azure SQL 数据仓库中受益。只需将数据从 DataSource 推送到 Azure SQL。
如果您确实有足够的数据,或者确实想使用 Azure SQL 数据仓库,那么快速报告的最佳选择是:
数据源 -> Azure SQL 数据仓库 -> Azure 分析服务
换句话说,在 AAS 中创建一个表格模型,并使用 PowerBI 和/或 s-s-rS 从中报告。
【讨论】:
感谢您的回复。是的,这就是我目前正在做的事情:DataSource -> Azure SQL 数据仓库 -> Azure SQL。该系统将支持大量数据 Tb,但目前有 50Gb。我们有自己的仪表板应用程序,因此不能选择 AAS。 为什么要将数据移回 Azure SQL?这是我不明白的部分。 Azure DW 具有有限的并发查询执行槽,具体取决于 DW 单元。但是 Azure SQL 这不是问题,因此从那里查询聚合数据似乎是可行的。 好的,我明白了。您可能会对这 32 个插槽可以完成多少工作感到惊讶 - 查询执行速度非常快 - 但如果您有大量并发用户,并且每页有大量查询,ASDW 不是您最好的数据源交互式报告。这就是为什么 Azure 分析服务是一个很好的解决方案,但我也理解您当前的仪表板无法使用它。 是的,这也完全取决于。为工作找到合适的工具并不是一个坏习惯。例如,很多人使用 SQL Server 的多个实例,其中一个是数据仓库,另一个是数据集市。这样,数据集市就可以支持报告。数据仓库 -> SSAS -> 报告也是如此。但是,如果您使用 PowerBI 之类的东西来进行具有数据缓存的报告,并且发现每天加载一次数据就可以了,那么您的 Azure DW 就可以了,就像每天一次批量加载报告一样。但这一切都取决于您和您的业务需求......以上是关于基于 Azure DW 或 Azure SQL 的仪表板报告的最佳实践?的主要内容,如果未能解决你的问题,请参考以下文章
Azure Databricks 到 Azure SQL DW:长文本列
Azure 数据资源管理器与 Azure Synapse Analytics(又名 SQL DW)
如何在 Synapse (Azure SQL DW) 上检索视图定义?
从 Azure Synapse 中的 Apache Spark 将数据写入 SQL DW