Databricks的秘密[关闭]

Posted

技术标签:

【中文标题】Databricks的秘密[关闭]【英文标题】:Databricks Secrets [closed] 【发布时间】:2022-01-18 05:06:30 【问题描述】:

有没有人实现从 AWS Secrets Manager 读取数据块

我在 AWS 机密管理器中有我的数据库密码 我想在 Databricks 笔记本中的 AWS 机密管理器中使用机密

谁能给我一个简短的概述如何做到这一点

【问题讨论】:

【参考方案1】:

步骤 01:创建秘密:

使用 curl 或 postman 添加 Databricks 秘密范围(示例如下)

curl --location --request POST 'https://databricks-instance/api/2.0/secrets/scopes/create' \
--header 'Authorization: Bearer <databricks api key>' \
--header 'Content-Type: text/plain' \
--data-raw '
  "scope": "dsfp"
'

Step-02:创建范围后,现在创建秘密(示例如下)

curl --location --request POST 'https://databricks-instance/api/2.0/secrets/put' \
--header 'Authorization: Bearer <databricks api key>' \
--header 'Content-Type: text/plain' \
--data-raw '
  "scope": "dsfp",
  "key": "teradata-prd-password",
  "string_value": "############"
'

获取 Databricks 秘密:

password = dbutils.secrets.get(scope="dsfp", key="teradata-prd-password")

【讨论】:

问题不在于 Databricks 机密,而在于 AWS Secrets Manager

以上是关于Databricks的秘密[关闭]的主要内容,如果未能解决你的问题,请参考以下文章

在 Azure Key Vault 支持的 Databricks 中创建秘密范围失败

Azure Databricks - 从 Gen2 Data Lake Storage 运行 Spark Jar

无法在 Databricks 中使用 SecretKey

DataBricks中pandas.DataFrame.tail的等价物是啥[关闭]

只读取 sqlContext 中的前几行或标题

Spark - groupByKey over reduceByKey 的用例是啥