如何找到 Spark 存储所有配置值的位置

Posted 2023-04-15

【中文标题】如何找到 Spark 存储所有配置值的位置

【英文标题】：How to find the location where Spark stores all the config values

【发布时间】：2021-07-22 13:27:34

【问题描述】：

我是 Spark 的新手，正在学习它的内部知识，Spark 让我难以理解的事情之一是 spark 会话如何获取所有配置属性。我也想收集所有 Spark 配置，包括默认配置。我可以很容易地找到在 spark-session 中明确设置的那些，也可以通过运行如下所示的小代码来查看 spark-defaults.conf 文件

配置 = spark.sparkContext.getConf().getAll() 对于配置中的项目：打印（项目）

我的问题是 Spark 在哪里选择其余默认参数，是否存在 Spark 分发在内部维护的默认位置，不会向用户公开。

例如：spark.conf.get("spark.sql.adaptive.enabled") 给我“真”作为输出。但是如果我在根目录中进行查找，我似乎无法找到服务器上任何物理文件中存在的值

find / -name "." 2>/dev/null -exec grep -li "spark.sql.adaptive.enabled" '' ;

什么都不返回 :(

任何帮助将不胜感激。

问候， 潘卡伊

【参考方案1】：

查看代码，conf文件中没有的默认值嵌入到spark代码中。

This是SparkSql默认的conf值代码