无法从 synapse spark scala notebook 读取 csv 文件

Posted

技术标签:

【中文标题】无法从 synapse spark scala notebook 读取 csv 文件【英文标题】:unable to read csv file from synapse spark scala notebook 【发布时间】:2021-12-15 12:58:50 【问题描述】:

我尝试从 synapse notebook 读取 csv 文件,但它给出的错误路径不存在。我已经阅读了很多文档,说在 blob 存储或突触工作区中配置了一些东西来读取 azure blob 存储。

请在此处提供帮助。我正在尝试从 blob 存储而不是数据湖 gen2 读取 csv 文件。

【问题讨论】:

最好的办法是尝试在 Azure Synapse Studio 的数据 > 链接中心中找到该文件。然后右键单击它并选择其中一个选项,例如加载到数据框或 SELECT TOP 100。这将为您创建一个具有正确路径的脚本,如果这不起作用,那么您的问题很可能是权限。确保存储帐户上有存储 Blob 数据参与者。 非常感谢。我正在尝试将 csv 文件读入数据框,但我得到一个错误路径不存在,但我在 wasbs 上给出直接路径仍然相同的错误是它也是相同的权限问题 【参考方案1】:

如果您收到的路径不存在,请检查存储帐户上的路径是否存在。

您可以尝试以下方法从 Synapse Spark Python Notebook 读取 csv 文件。

【讨论】:

以上是关于无法从 synapse spark scala notebook 读取 csv 文件的主要内容,如果未能解决你的问题,请参考以下文章

无法从 spark scala 中的列名中删除空格

无法从 synapse spark scala notebook 读取 csv 文件

无法使用 spark scala 从数据集中的行中获取第一列的值

Spark Scala Dataframe:删除第 n 条记录

如何使用 Scala 从 Spark 中的列表或数组创建行

如何从代码外部提供spark / scala中的模式