Azure Databricks - 解释 databricks 中的安装语法

Posted

技术标签:

【中文标题】Azure Databricks - 解释 databricks 中的安装语法【英文标题】:Azure Databricks - Explain the mounting syntax in databricks 【发布时间】:2019-12-12 06:55:43 【问题描述】:

我是 azuredatabricks 的新手,我了解了如何安装 blob 和使用,但我有一些疑问,我还没有找到任何文档的任何答案。所以请帮我解释一下:

dbutils.fs.mount(
  source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net",
  mount_point = "/mnt/<mount-name>",
  extra_configs = "<conf-key>":dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>"))

这里"/mnt/&lt;mount-name&gt;"指的是哪个位置,是不是某个虚拟文件位置,用来挂载和以后使用。

还有,dbutils.secrets.get需要什么。

如果有人能解释一下,对我的学习会有很大帮助。

谢谢。

【问题讨论】:

【参考方案1】:

据我了解,mnt 只不过是目录的虚拟起点。scope-name 是一种连接密钥保管库的方式。 例如:https://westeurope.azuredatabricks.net/#secrets/createScope 是创建范围的链接key-name 是您的密钥保管库中存在的密钥名称。

请通过Link 了解有关此的一些详细信息。

【讨论】:

【参考方案2】:

Secrets 允许您存储和访问敏感的凭据信息,而不会在笔记本中显示它们。

简单来说:为了解释清楚,我举了一个例子,挂载了一个不带秘密和带秘密的ADLS Gen2。

没有秘密?

如果您想在(***、MSDN 或 GitHub)等公共论坛上共享 Notebook,我需要模糊密钥并与您共享。

有秘密吗?

我可以在公共论坛上共享笔记本而无需任何修改。

参考:“Azure Databricks - Secrets”。

希望这会有所帮助。如果您有任何进一步的疑问,请告诉我们。


请点击“标记为答案”并在对您有帮助的帖子上点赞,这可能对其他社区成员有益。

【讨论】:

以上是关于Azure Databricks - 解释 databricks 中的安装语法的主要内容,如果未能解决你的问题,请参考以下文章

带有 python 的 Azure Databricks dbfs

使用 azure databricks 读取 azure databricks 日志 json 文件

Azure Databricks:如何在 Databricks 群集中添加 Spark 配置

Databricks Connect:无法连接到 azure 上的远程集群,命令:“databricks-connect test”停止

Azure Data PlatformETL工具(20)——创建Azure Databricks

Azure Data PlatformETL工具(20)——创建Azure Databricks