在spark应用程序中设置输出日志的级别

spark运行的时候会产生大量的消息，让程序的运行结果看起来比较费劲

所以可以再程序中添加一些代码，设置一下输出日志的级别

1 import org.apache.log4j.{Level, Logger}
2 
3 object Example {
4   Logger.getLogger("org").setLevel(Level.ERROR)
5 
6   def main(args: Array[String]) {
7     ......
8   }
9 }

代码中Level那里的参数，可以设置为WARN，或者ERROR，这个根据自身需求

直接设置为ERROR可能会错过一些比较重要的警告信息，但是这样输出的内容也少，可以直接看到结果