Spark设置日志级别
Posted wooluwalker
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark设置日志级别相关的知识，希望对你有一定的参考价值。
默认是INFO级别，输出内容太多，影响真正输出结果的查找，需要修改成 WARN 或 ERROR 级别
1 spark根目录conf/log4j.properties.template拷贝到工程的resources目录下，并改名成 log4j.properties
2 修改log4j.properties配置文件中的日志级别：如下红字ERROR，表示日志级别为ERROR
# Set everything to be logged to the console
log4j.rootCategory=ERROR, console
3 在IDEA中运行代码，验证日志级别
以上是关于Spark设置日志级别的主要内容，如果未能解决你的问题，请参考以下文章
Sparklyr - 在 spark-submit 中更改日志级别