余老师带你学习大数据框架全栈第十一章Flink第五节YARN模式

FlinkYarn

yarn是在生产模式中比较常见，容器化资源管理平台上的部署。
1、下载支持hadoop版本的jar包
命令：cd /hadoop/Flink/flink-1.10.1/lib/、 wget https://repo1.maven.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/2.8.3-10.0/flink-shaded-hadoop-2-uber-2.8.3-10.0.jar

2、再将jar包拷贝到另外两台机器上，在相同的位置上
命令：scp -r -q flink-shaded-hadoop-2-uber-2.8.3-10.0.jar app-12:/hadoop/Flink/flink-1.10.1/lib、scp -r -q flink-shaded-hadoop-2-uber-2.8.3-10.0.jar app-13:/hadoop/Flink/flink-1.10.1/lib

3、启动yarn-session
命令：cd ..、
nohup bin/yarn-session.sh -n 3 -s 3 -jm 1024 -tm 1024 -nm test -d 2>&1 >/tmp/yarnsession.log &
JobManager Web是app-11 ，在hadoop集群上的任务名是004

4、使用内部浏览器打开hadoop集群
网址：app-11:8088

5、提交job
命令：flink run -c com.kinginsai.wc.StreamWordCount /hadoop/Flink/Flink-1.0-SNAPSHOT-jar-with-dependencies.jar --host app-11 --port 7777

6、在端口7777中输入字符

7、使用内部浏览器查看结果
网址：app-11:9081
TaskManager 中的stdout查看

详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰