yarn-cluster

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wuxintdrh/article/details/88072103

2.1、yarn-cluster

• 2.1.1、yarn-cluster模式打包，提交问题
• 2.1.2、spark在yarn-cluster模式下运行任务报错
• 2.1.3、如何设置driver,executor的内存
• 2.1.4、解决sparn yarn-cluster第三方依赖包的加载
• 2.1.5、yarn资源调度设置
• 2.1.5、 为Spark Application指定不同的JDK版本
  • 随着企业内部业务系统越来越多，基于JVM的服务，通常情况线上环境可能会有多套JDK跑不同的服务。大家都知道基于高版本的Java规范编写的服务跑在低版本的JVM上会出现：java.lang.UnsupportedClassVersionError的异常。
  • spark.yarn.appMasterEnv.JAVA_HOME相当于为Spark Application的Driver设置了特定的JDK版本 (yarn模式下设置)
  • spark.executorEnv.[EnvironmentVariableName]配置，可以用来给Executor进程添加环境变量

park-submit --master yarn-cluster  --class com.chb.test.tongji.WordCount  
 --conf "spark.executorEnv.JAVA_HOME=/uardata/software/java/jdk8/jdk1.8.0_121" 
 --conf "spark.yarn.appMasterEnv.JAVA_HOME=/uardata/software/java/jdk8/jdk1.8.0_121" 
  frame.jar /apps/test/input/abc