Start a long-running Flink cluster on YARN遇到的问题总结

Session-Cluster模式需要先启动集群,然后再提交作业,接着会向yarn申请一块空间后,资源永远保持不变。如果资源满了,下一个作业就无法提交,只能等到yarn中的其中一个作业执行完成后,释放了资源,下个作业才会正常提交。所有作业共享Dispatcher和ResourceManager;共享资源;适合规模小执行时间短的作业。

先启动Hadoop和Yarn这个就不说了哟…

xxxx/app/hadoop-2.6.0-cdh5.15.1/sbin/start-all.sh  全部启动hdfs和yarn
jps可以查看的

在这里插入图片描述
然后去Flink根目录下面执行

./bin/yarn-session.sh -n 1 -jm 1024m -tm 4096m

参数什么意思大家一看就知道啦,我不多说
-n,–container Number of YARN container to allocate (=Number of Task Managers)
-jm,–jobManagerMemory Memory for JobManager Container with optional unit (default: MB)
-tm,–taskManagerMemory Memory per TaskManager Container with optional unit (default: MB)

问题来了,执行时候有问题:

ClassNotFoundException: org.apache.hadoop.yarn.exceptions.

我的解决方法是找到下面两个jar包,放到flink的lib下面去:

flink-shaded-hadoop-2-2.6.0-cdh5.15.1-7.0.jar
flink-shaded-hadoop-2-uber-2.6.0-cdh5.15.1-7.0.jar

重新执行:./bin/yarn-session.sh -n 1 -jm 1024m -tm 4096m
但是很不幸又有另外一个问题:

org.apache.commons.cli.Option.builder(Ljava/lang/String;)Lorg/apache/commons/cli/Option$Builder

在这里插入图片描述
这个时候呢,再去找一个jar包:

commons-cli-1.4.jar

最后再执行./bin/yarn-session.sh -n 1 -jm 1024m -tm 4096m没问题了,开心!
在这里插入图片描述
如果你问我到哪去找到的这些jar包的话,因为我maven源码编译Flink时候已经下载好了,在我服务器的中央仓库里面。我的Flink是1.9.0版本的,hadoop是2-2.6.0-cdh5.15.1版本的,如果你们版本跟我一样可以留言,我发给你!谢谢观看!

发布了45 篇原创文章 · 获赞 6 · 访问量 2052

猜你喜欢

转载自blog.csdn.net/qq_22583191/article/details/104175932