如何将 Azure 数据工厂与 SQL 端点而不是交互式集群连接?

Posted

技术标签:

【中文标题】如何将 Azure 数据工厂与 SQL 端点而不是交互式集群连接?【英文标题】:How to connect Azure Data Factory with SQL Endpoints instead of interactive cluster? 【发布时间】:2022-01-22 18:19:44 【问题描述】:

是否可以将 Azure 数据工厂与 Azure Databricks SQL 终结点(增量表和视图)而不是交互式集群连接。我尝试使用 Azure delta Lake 连接器,但它有集群选项而不是端点?

【问题讨论】:

你想达到什么目的?你想在 Databricks 上运行什么样的操作? 您能否分享您的用例您想要实现的目标。 Databricks SQL 用作针对不用于 ETL 过程的存储帐户的联合查询引擎。在这种情况下,您可以使用 Databricks SQL 进行交互式查询。未按计划方式加载。 【参考方案1】:

很遗憾,您无法使用 ADF 将 Azure Databricks SQL 端点与 Azure Databricks 连接起来。

注意:使用计算选项 - 您可以使用以下集群选项连接 Azure Databricks 工作区:

新建作业集群 现有的交互式集群 现有实例池

注意:使用 Datastore 选项 - Azure Databricks Delta Lake 选项,您只能连接现有的交互式集群:

感谢您在我们的feedback channel 上分享反馈。这将对用户社区开放以进行投票和评论。这使我们的产品团队能够根据我们现有的功能积压有效地确定您的请求的优先级,并深入了解实施建议功能的潜在影响。

【讨论】:

以上是关于如何将 Azure 数据工厂与 SQL 端点而不是交互式集群连接?的主要内容,如果未能解决你的问题,请参考以下文章

为啥 Azure 数据工厂使用 AppendFile 而不是 PutBlob 将文件写入 Blob 存储容器?

Azure 数据工厂体系结构与 Azure SQL 数据库到 Power BI

如何使用数据工厂将数据从 Azure Blob 存储增量加载到 Azure SQL 数据库?

如何在 Azure 数据工厂中执行 SQL 查询

如何使用数据工厂将 IoT 中心存储的 blob 复制到 Azure SQL

Azure 数据工厂问题将数据从本地 sql Server 写入 Azure SQL 数据库