如何写入 Synapse 专用 sql 池

Posted

技术标签:

【中文标题】如何写入 Synapse 专用 sql 池【英文标题】:How to write to Synapse dedicated sql pool 【发布时间】:2021-10-11 17:23:34 【问题描述】:

寻找使用 spark 笔记本将增量数据从 parquet/deltaLake 加载到 Synapse sql 仓库的选项。

【问题讨论】:

【参考方案1】:

Analyze data with dedicated SQL Pools:

以上文档有关于通过加载 FILE_TYPE = PARQUET 数据创建专用 SQL 池的信息。

Analyze data in a storage account:

以上文档分析您的工作区默认数据,因为我们可以通过在您的存储帐户中创建 CSV 和 Parquet 文件将 Blob 存储帐户链接到您的工作区

Load data in dedicated SQL Pool using copy activity:

以上文档为我们提供了有关将数据加载为复制活动的见解。

Analyze data with Spark and Notebook

以上文档将帮助我们创建火花池

【讨论】:

以上是关于如何写入 Synapse 专用 sql 池的主要内容,如果未能解决你的问题,请参考以下文章

使用 Synapse Analytics 将数据帧写入 SQL 专用数据库

用于 Synapse 专用池的 OPENROWSET()?

Synapse 专用池与分区 PARQUET

azure synapse - 无服务器 sql 池数据库在数据选项卡中不可见

如何通过 Synapse 的 Spark 池将数据帧数据附加到专用的 SQL 池中?

Azure Synapse 专用 sql 池未在 Synapse Studio 中显示数据对象