spark常见错误【持续更新】

错误1.错误: 找不到或无法加载主类 idea、scala代码

idea 导入的scala工程,编写代码后报该错误。

原因:\src\main\scala 包路径下没有将scala这个包设置成Sources root

解决:设置scala的文件夹属性


 错误2.

ERROR scheduler.LiveListenerBus: Listener SQLListener threw an exception java.lang.NullPointerException

WARN spark.ExecutorAllocationManager: No stages are running, but numRunningTasks != 0

该错误是使用sparksql的时候报的错,原因是我的数据量太大导致的

解决适当的增加 --driver-memory 的大小即可

猜你喜欢

转载自www.cnblogs.com/qinglanmei/p/12024174.html