将数据从 ADLS Gen2 加载到 Azure Synapse 时出错

Posted

技术标签:

【中文标题】将数据从 ADLS Gen2 加载到 Azure Synapse 时出错【英文标题】:Error while loading data from ADLS Gen2 to Azure Synapse 【发布时间】:2021-01-30 19:32:40 【问题描述】:

我正在尝试使用 polybase 直接复制执行从 ADLS Gen2 到 Azure Synapse 仓库的复制活动。复制时出现如下错误:

“请确保 SQL DW 有权访问 ADLS Gen2”。但是当数据工厂可以处理它时,为什么它需要访问 ADLS Gen2 呢?以及如果我需要提供该访问权限,我该如何提供。

谢谢。

【问题讨论】:

devblogs.microsoft.com/azure-sql/… 这是分阶段复制还是直接复制? 我可以复制成功,你可以查看我的答案。也许你和我之间有什么不同? 【参考方案1】:

在我这边,我可以成功复制。

您可以检查您和我的​​设置是否不同。

这是我的sql server的防火墙设置:

我没有设置任何防火墙限制,我允许我的客户端 IP 和其他 azure 服务访问我的 sql server。

这是我的复制活动:

这条管道运行良好:

【讨论】:

以上是关于将数据从 ADLS Gen2 加载到 Azure Synapse 时出错的主要内容,如果未能解决你的问题,请参考以下文章

触发 Azure 数据工厂管道 - Blob 上传 ADLS Gen2(以编程方式)

如何获取 ADLS Gen2 文件的最后修改日期并将其保存到 python 中的 csv

DataBricks - 将更改保存回 DataLake (ADLS Gen2)

将 ADLS Gen 2 中的数据加载到 Azure Synapse

是否可以将数据从 ADLS 加载到 DBX 中的 SQL DW?

Azure 数据湖:将数据从 Blob 移动到 ADLS 时面临问题