Azure 数据工厂体系结构与 Azure SQL 数据库到 Power BI

Posted 2023-03-28

【中文标题】Azure 数据工厂体系结构与 Azure SQL 数据库到 Power BI

【英文标题】：Azure Data Factory architecture with Azure SQL database to Power BI

【发布时间】：2020-03-15 03:25:10

【问题描述】：

我不是 MS 专家 - 最近跳上 Azure 列车，如果我得到一些错误信息，请提前道歉。

利用 Azure 数据工厂（作为 ETL/ELT 工具）和 Azure SQL 数据库（作为存储），到 BI 输出 - Power BI。我的情况是这样的；

我有本地数据源，例如 Oracle DB、Oracle Cloud SSAS、MS SQL server db 我想要一个用于报告目的的 MS 云基础架构解决方案。 无需迁移数据 - 只需将本地数据导入云端并生成 BI 报告解决方案

基于我有限的知识和 Google 研究，Azure 数据工厂可以满足我所有的本地资源以及未来的云 Azure SQL 数据库的需求。如果需要将来进行分析，可以将 Azure 存储 和 Azure Databricks 添加到此体系结构中。我已经勾勒出我提出的解决方案的架构。

只是确认我的理解

如果没有 Azure 存储和 Databricks（2 个粉色框），则 2 Azure 组件（DF 和 SQL 数据库）足以从本地源获取数据、在云上处理并输出到 Power BI。 使用 Azure 存储和 Databricks（2 个粉色框），处理将更加高效，因为它们的汇总功能是存储训练数据模型并充当分析处理引擎。 Azure SQL 数据库 比 Azure SQL 数据仓库 更合适，因为我的数据源不超过 1TB；成本方面更便宜，而且我的一个数据源包含来自呼叫中心的数据，因此 OLTP 更合适。另外，我有 Azure Databricks 来支持 SQL 数据仓库所做的分析位 (OLAP)。

任何其他帮助我理解整个架构的 cmets 都会很棒！

【参考方案1】：

我是 Azure 的新手。我想知道我们是否有 @Query (value="...") 种类或 DocumentDb (CosmosDB) 的任何等价物。因为，documentDB 不采用@Query。我正在寻找转换 sql 查询（从 jpa 到 cosmosDB）。

【参考方案2】：

从本地或 IaaS 源（如 VM、Oracle 等上的 SQL）获取数据需要Self-Hosted Integration Runtime (SHIR)。

请查看Modern Data Warehouse 模式，这听起来与您的提议相似。

【讨论】：

但是数据工厂支持 SHIR，所以我的初始架构流程仍然有效。感谢您提供现代数据仓库的链接。但是在那个图中，存在数据湖；但流描述称它为 Azure Blob 存储。我认为它们是不同的组件，具有相似的功能。这是否意味着我需要数据湖而不是 Azure 存储？ （根据我的架构图）

Azure 数据工厂支持三种类型的运行时：自动运行时，不需要任何额外的虚拟机/基础设施，加上 SSIS 运行时和自托管集成运行时 (SHIR)。当您从本地数据源移动数据时，您需要 SHIR，而 SHIR 又需要虚拟机/额外的基础架构和配置，所以我认为值得一提。