无法从 synapse spark scala notebook 读取 csv 文件
Posted
技术标签:
【中文标题】无法从 synapse spark scala notebook 读取 csv 文件【英文标题】:unable to read csv file from synapse spark scala notebook 【发布时间】:2021-12-15 12:58:50 【问题描述】:我尝试从 synapse notebook 读取 csv 文件,但它给出的错误路径不存在。我已经阅读了很多文档,说在 blob 存储或突触工作区中配置了一些东西来读取 azure blob 存储。
请在此处提供帮助。我正在尝试从 blob 存储而不是数据湖 gen2 读取 csv 文件。
【问题讨论】:
最好的办法是尝试在 Azure Synapse Studio 的数据 > 链接中心中找到该文件。然后右键单击它并选择其中一个选项,例如加载到数据框或 SELECT TOP 100。这将为您创建一个具有正确路径的脚本,如果这不起作用,那么您的问题很可能是权限。确保存储帐户上有存储 Blob 数据参与者。 非常感谢。我正在尝试将 csv 文件读入数据框,但我得到一个错误路径不存在,但我在 wasbs 上给出直接路径仍然相同的错误是它也是相同的权限问题 【参考方案1】:如果您收到的路径不存在,请检查存储帐户上的路径是否存在。
或
您可以尝试以下方法从 Synapse Spark Python Notebook 读取 csv 文件。
【讨论】:
以上是关于无法从 synapse spark scala notebook 读取 csv 文件的主要内容,如果未能解决你的问题,请参考以下文章
在 Azure Synapse 的 Spark 代码中列出目录的内容
无法通过 SSMS 访问 Azure Synapse Spark 表
从 Azure Synapse 中的 Apache Spark 将数据写入 SQL DW