在 Azure Synapse 的 Spark 代码中列出目录的内容

Posted 2023-03-25

【中文标题】在 Azure Synapse 的 Spark 代码中列出目录的内容

【英文标题】：List content of a directory in Spark code in Azure Synapse

【发布时间】：2021-08-16 04:47:49

【问题描述】：

在 Databricks 的 Scala 语言中，命令 dbutils.fs.ls 列出目录的内容。但是，我正在使用 Azure Synapse 中的笔记本，它没有 dbutils 包。 dbutils.fs.ls对应的Spark命令是什么？

%%scala
  dbutils.fs.ls("abfss://[e-mail]/outputs/wrangleddata")

%%spark
  // list the content of a directory. ????

【参考方案1】：

只需使用mssparkutils，它是一个粗略的等价物，主文档页面是here。一个简单的例子：

mssparkutils.fs.ls("/")
mssparkutils.fs.ls("abfss://[e-mail]/outputs/wrangleddata")