将数据表从 Databricks dbfs 导出到 azure sql 数据库

Posted 2023-02-19

【中文标题】将数据表从 Databricks dbfs 导出到 azure sql 数据库

【英文标题】：Export data table from Databricks dbfs to azure sql database

【发布时间】：2021-11-23 05:04:11

【问题描述】：

我对 databricks 很陌生，正在寻找一种将数据表从 databricks 黄金方案导出到 azure sql 数据库的智能方法。 我将 databricks 用作 azure 资源组的一部分，但是我在同一资源组内的任何存储帐户中都找不到来自 databricks 的数据。这是否意味着它物理存储在隐式数据块存储帐户/数据湖中？ 在此先感谢:-)

【参考方案1】：

您在 Databricks 中看到的表可能将数据存储在该 Databricks 工作区文件系统 (DBFS) 或外部某个位置（例如 Data Lake，它可能位于不同的 Azure 资源组中） - 请参见此处：Databricks databases and tables

对于将数据从 Databricks 写入 Azure SQL，我建议使用 Apache Spark connector for SQL。