IntelliJ IDEA在Local模式下Spark程序消除日志中INFO输出
Posted dabokele
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了IntelliJ IDEA在Local模式下Spark程序消除日志中INFO输出相关的知识，希望对你有一定的参考价值。
在使用Intellij IDEA，local模式下运行Spark程序时，会在Run窗口打印出很多INFO信息，辅助信息太多可能会将有用的信息掩盖掉。如下所示
要解决这个问题，主要是要正确设置好log4j文件，本文主要分析如何在local模式下，将Spark的INFO信息隐藏，不影响程序中的结果输出。
1、将spark根目录下的log4j.properties文件复制到Intellij IDEA的src路径下
此时项目结构如下图所示：
2、修改log4j.properties文件的内容
将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console，只显示ERROR级别的日志。
再次运行该代码，可以看到INFO信息已经消失
以上是关于IntelliJ IDEA在Local模式下Spark程序消除日志中INFO输出的主要内容，如果未能解决你的问题，请参考以下文章