spark在yarn-cluster模式下运行任务报错

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wuxintdrh/article/details/82597715

spark在yarn-cluster模式下运行任务报错

不指定任何参数， 运行正常

spark-submit --master yarn-cluster --class com.chb.test.tongji.Test test.jar /apps/spark/source/ 00

当指定executor的配置，运行失败

spark-submit --master yarn  --deploy-mode  cluster --num-executors 3 --executor-memory 128M --class com.chb.test.tongji.Test test.jar /apps/spark/source/ 00

1、任务跑失败， 但是没有看出是什么的原因

2、到yarn上查看日志，发现日志无法打开

3、使用yarn logs -applicationId application_1536581049061_0004查看日详细志信息

Exception in thread "main" java.lang.IllegalArgumentException: 
System memory 129761280 must be at least 4.718592E8. Please use a larger heap size.

分配内存不足， 解决方法设置

    sc.set("spark.testing.memory", "2147480000");