JAVA代码如何设置SPARK的日志打印级别

问题场景:在使用spark sql 增加where条件过滤时,会出现打印很多的被过滤掉的记录(几十万条),导致跑spark sql 特别慢!

var df2 = sqc.sql("SELECT * FROM T_COMMISIONRATEDEF WHERE T_INSURANCETYPE = '630' ORDER BY T_INSURANCETYPE DESC " )


执行时,打印截图:


解决方法

设置spark 的日志级别,不打印过滤INFO信息


1)代码中使用呢代理设置:关键参考代码如下


import org.apache.log4j.Level

import org.apache.log4j.Level

Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)
Logger.getLogger("org.apache.hadoop").setLevel(Level.ERROR)
Logger.getLogger("org.apache.zookeeper").setLevel(Level.ERROR)


代码截图:







猜你喜欢

转载自blog.csdn.net/wumiqing1/article/details/78842929