Spark异常报错整理

答主是一名刚接触Hadoop,Spark的小白工程师,该文章整理答主在开发过程中遇到的一些Spark的错误,将会持续更新。

1)

Exit Code:13

Stack trace:ExitCodeException exitCode=13:

  org.apache.hadoop.util.Shell.runCommand(Shell.java:545)
...
错误原因:任务在提交时采用了yarn的模式,但是在代码中也也指定了部署模式为standalone,造成冲突
解决办法:删除源码中.setMaster()方法行,另外,推荐Spark-submit的提交参数都通过命令行来指定,使用源码确定参数会造成之后对程序的修改和维护的不方便

2)

猜你喜欢

转载自blog.csdn.net/v_gbird/article/details/79199610