Sparklyr - 在 spark-submit 中更改日志级别

Posted 2023-03-23

【中文标题】Sparklyr - 在 spark-submit 中更改日志级别

【英文标题】：Sparklyr - change log level in spark-submit

【发布时间】：2021-09-14 05:57:15

【问题描述】：

我想要实现的是在 $SPARK_HOME/bin/spark-submit 执行期间将所有记录到控制台的信息静音。

我已经通过更改 $SPARK_HOME/conf/log4j.properties 中的相应行来更改 spark 本身的日志级别，但是当我提交我的 R-sparklyr-script 以及 sparklyr.jar 以作为一种执行时独立工作我得到以下信息：

########

[user@host] $SPARK_HOME/bin/spark-submit --class sparklyr.Shell 'sparklyr.jar' script.R 21/07/01 16:12:25 信息 sparklyr：会话（999991）在 127.0.0.1 端口 4440 下启动 21/07/01 16:12:25 信息 sparklyr：会话 (999991) 发现端口 4440 可用 21/07/01 16:12:26 信息 sparklyr：网关（999991）正在启动批处理 rscript ....

########

我推断 sparklyr 使用 log4j 作为记录器，但我不知道在哪里可以找到合适的 log4j.properites 文件来更改日志级别。

你知道有什么方法可以解决吗？

关于， 亚当。

【参考方案1】：

好吧，看来我对 sparklyr 使用 log4j 有点错误。无论如何，开发人员似乎会在未来尝试研究这个问题。

https://github.com/sparklyr/sparklyr/issues/3145