eclipse运行spark的scala程序console配置日志log4j输出级别

版权声明：所有文章禁止转载但是均可在生产中使用提高效率 https://blog.csdn.net/viviliving/article/details/83089845

默认输出info级别，结果都淹没在info海洋里

先看看自己的eclipse输出的第一行

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

然后再找找spark的import执行的jar包的spark-core所在位置（CTRL+T）

我的在

/home/hadoop/.m2/repository/org/apache/spark/spark-core_2.11/2.1.0

找到后，命令行下解压

jar xvf spark-core_2.11-2.1.0.jar

find ./ -name log4j*.*

./org/apache/spark/log4j-defaults.properties

修改log4j-defaults.properties中的info级别为WARN即可

然后再打包

jar cvf spark-core_2.11-2.1.0.jar ./org/* ./META-INF/*

运行看看是不是一下子很简洁了