flink on yarn有两种模式:yarn-seeion 和yarn-job:
yarn-seeion:在yarn中初始化一个flink集群,任务都提交到flink集群,flink集群会常驻yarn中,除非手动停止。
yarn-job:每次提交的任务都会创建一个新的flink集群,任务间相互独立,任务执行完之后flink集群消失。
yarn-session
在yarn中初始化一个flink集群,任务都提交到flink集群,flink集群会常驻yarn中,除非手动停止。
创建集群:
创建命令
yarn-session.sh -n 2 -jm 1024 -tm 1024 -d
命令脚本
绑定集群:
yarn-session.sh -id applicationId
执行flink任务:
yarn-session.sh -id ./examples/wordcount.jar