Databricks 写回天蓝色突触错误

Posted 2023-03-25

【中文标题】Databricks 写回天蓝色突触错误

【英文标题】：Databricks write back to azure synapse error

【发布时间】：2021-06-19 04:28:02

【问题描述】：

以下是我的代码

df.write \
  .format("com.databricks.spark.sqldw") \
  .option("url", "jdbc:sqlserver://**********.sql.azuresynapse.net:1433;database=********") \
  .option("user","sqladminuser")\
 .option("password","***********") \
.option("forwardSparkAzureStorageCredentials", "true") \
  .option("dbTable", "dbo.testingoutfromdatabricks") \
  .option("tableOptions", "CLUSTERED COLUMNSTORE INDEX, DISTRIBUTION = HASH (_c0)") \
  .option("tempDir", "abfss://********@**********.dfs.core.windows.net/tempfolder/") \
  .save()

我收到以下错误。

无法验证外部位置，因为远程服务器返回错误：(403) Forbidden。 [错误代码 = 105215] [SQLState = S0001]

从 Azure synapse sql pool 中，我使用来自同一个 blob 存储的 COPY 命令，并成功加载表...有人遇到上述错误吗？

【参考方案1】：

要解决此问题，请确保在尝试访问受保护的 Azure 存储时必须使用托管服务标识。

将Storage Blob Data Contributor 角色分配给 Azure Synapse Analytics 服务器的托管标识。

更多详情，请参考Write Data from Azure Databricks to Azure Dedicated SQL Pool(formerly SQL DW) using ADLS Gen 2。