可以在 Databricks 集群运行后设置/修改的 Spark 会话属性
Posted
技术标签:
【中文标题】可以在 Databricks 集群运行后设置/修改的 Spark 会话属性【英文标题】：Spark session properties which can be be set/modified after Databricks cluster is running 【发布时间】：2021-12-23 08:42:53 【问题描述】：我正在经历这个change the name of Spark application after it is started?。我怀疑在应用程序启动后我们可以通过 spark session 更改哪些所有属性。
例如下面提到的一些属性可以在应用程序启动后在笔记本中设置，同时我们需要写入Datalake。
spark.conf.set("dfs.adls.oauth2.access.token.provider.type", "ClientCredential")
spark.conf.set("dfs.adls.oauth2.client.id", clientId)
spark.conf.set("dfs.adls.oauth2.credential",secretId)
【问题讨论】：
【参考方案1】：当然，这些身份验证配置也可以在集群启动后设置使用 Spark 配置，可以为每个笔记本指定 Azure Data Lake Store 设置。但是，此方法强烈建议您不要以明文形式存储机密。您可以参考：link
【讨论】：
以上是关于可以在 Databricks 集群运行后设置/修改的 Spark 会话属性的主要内容，如果未能解决你的问题，请参考以下文章
databricks-connect 无法连接到 Databricks 集群运行时 8.4
升级集群的 Databricks Runtime 后调试 PySpark 时出错
init 脚本在 databricks 笔记本中运行良好，但在附加到集群时失败
: java.sql.SQLException: 尝试使用 Databricks Connect 在 Databricks 集群上运行 Python 脚本时没有合适的驱动程序