Azure Databricks - 解释 databricks 中的安装语法
Posted
技术标签:
【中文标题】Azure Databricks - 解释 databricks 中的安装语法【英文标题】:Azure Databricks - Explain the mounting syntax in databricks 【发布时间】:2019-12-12 06:55:43 【问题描述】:我是 azure
和 databricks
的新手,我了解了如何安装 blob 和使用,但我有一些疑问,我还没有找到任何文档的任何答案。所以请帮我解释一下:
dbutils.fs.mount(
source = "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net",
mount_point = "/mnt/<mount-name>",
extra_configs = "<conf-key>":dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>"))
这里"/mnt/<mount-name>"
指的是哪个位置,是不是某个虚拟文件位置,用来挂载和以后使用。
还有,dbutils.secrets.get
需要什么。
如果有人能解释一下,对我的学习会有很大帮助。
谢谢。
【问题讨论】:
【参考方案1】:据我了解,mnt 只不过是目录的虚拟起点。scope-name 是一种连接密钥保管库的方式。 例如:https://westeurope.azuredatabricks.net/#secrets/createScope 是创建范围的链接key-name 是您的密钥保管库中存在的密钥名称。
请通过Link 了解有关此的一些详细信息。
【讨论】:
【参考方案2】:Secrets 允许您存储和访问敏感的凭据信息,而不会在笔记本中显示它们。
简单来说:为了解释清楚,我举了一个例子,挂载了一个不带秘密和带秘密的ADLS Gen2。
没有秘密?
如果您想在(***、MSDN 或 GitHub)等公共论坛上共享 Notebook,我需要模糊密钥并与您共享。
有秘密吗?
我可以在公共论坛上共享笔记本而无需任何修改。
参考:“Azure Databricks - Secrets”。
希望这会有所帮助。如果您有任何进一步的疑问,请告诉我们。
请点击“标记为答案”并在对您有帮助的帖子上点赞,这可能对其他社区成员有益。
【讨论】:
以上是关于Azure Databricks - 解释 databricks 中的安装语法的主要内容,如果未能解决你的问题,请参考以下文章
带有 python 的 Azure Databricks dbfs
使用 azure databricks 读取 azure databricks 日志 json 文件
Azure Databricks:如何在 Databricks 群集中添加 Spark 配置
Databricks Connect:无法连接到 azure 上的远程集群,命令:“databricks-connect test”停止