无法从 synapse spark scala notebook 读取 csv 文件

Posted

技术标签:

【中文标题】无法从 synapse spark scala notebook 读取 csv 文件【英文标题】:unable to read csv file from synapse spark scala notebook 【发布时间】:2021-12-15 12:58:50 【问题描述】:

我尝试从 synapse notebook 读取 csv 文件,但它给出的错误路径不存在。我已经阅读了很多文档,说在 blob 存储或突触工作区中配置了一些东西来读取 azure blob 存储。

请在此处提供帮助。我正在尝试从 blob 存储而不是数据湖 gen2 读取 csv 文件。

【问题讨论】:

最好的办法是尝试在 Azure Synapse Studio 的数据 > 链接中心中找到该文件。然后右键单击它并选择其中一个选项,例如加载到数据框或 SELECT TOP 100。这将为您创建一个具有正确路径的脚本,如果这不起作用,那么您的问题很可能是权限。确保存储帐户上有存储 Blob 数据参与者。 非常感谢。我正在尝试将 csv 文件读入数据框,但我得到一个错误路径不存在,但我在 wasbs 上给出直接路径仍然相同的错误是它也是相同的权限问题 【参考方案1】:

如果您收到的路径不存在,请检查存储帐户上的路径是否存在。

您可以尝试以下方法从 Synapse Spark Python Notebook 读取 csv 文件。

【讨论】:

以上是关于无法从 synapse spark scala notebook 读取 csv 文件的主要内容,如果未能解决你的问题,请参考以下文章

在 Azure Synapse 的 Spark 代码中列出目录的内容

无法通过 SSMS 访问 Azure Synapse Spark 表

Spark,Scala在从文件读取后无法正确创建视图

从 Azure Synapse 中的 Apache Spark 将数据写入 SQL DW

无法使用 Spark/Scala 从 JSON 嵌套键值对创建列和值

从 Azure Synapse Analytics Spark Pool 连接到 Azure SQL 数据库