带有 python 的 Azure Databricks dbfs

Posted 2023-04-15

【中文标题】带有 python 的 Azure Databricks dbfs

【英文标题】：Azure Databricks dbfs with python

【发布时间】：2020-07-23 16:51:59

【问题描述】：

在 azure databricks 中，我只需添加两个点即可为 dbfs 的目录列表提供不同的结果。 谁能向我解释为什么会发生这种情况？

【参考方案1】：

使用 dbutils，您只能使用“dbfs:/”路径。 如果您没有在路径的开头指定“dbfs:/”，它只会自动添加它。

dbutils.fs.ls('pathA')
--> dbfs:/pathA

完全一样

dbutils.fs.ls('dbfs:/pathA')

但是如果你不使用':'，那么它会默默地添加它。

dbutils.fs.ls('dbfs/pathB')
--> dbfs:/dbfs/pathB

这意味着您的 dbfs/ 被视为 dbfs:/

根目录下的文件夹名称

dbfs

为避免混淆，请始终在路径中指定 dbfs:/。