Flink 1.17教程:Hadoop yarn会话运行模式

YARN运行模式_环境准备

YARN上部署的过程是:客户端把Flink应用提交给Yarn的ResourceManager,Yarn的ResourceManager会向Yarn的NodeManager申请容器。在这些容器上,Flink会部署JobManager和TaskManager的实例,从而启动集群。Flink会根据运行在JobManger上的作业所需要的Slot数量动态分配TaskManager资源。

[atguigu@node001 flink-1.17.0]$ source /etc/profile.d/my_env.sh 
[atguigu@node001 flink-1.17.0]$ myhadoop.sh s
Input Args Error...
[atguigu@node001 flink-1.17.0]$ myhadoop.sh start
 ================ 启动 hadoop集群 ================
 ---------------- 启动 hdfs ----------------
Starting namenodes on [node001]
Starting datanodes
Starting secondary namenodes [node003]
 --------------- 启动 yarn ---------------
Starting resourcemanager
Starting nodemanagers
 --------------- 启动 historyserver ---------------
[atguigu@node001 flink-1.17.0]$ jpsall 
================ node001 ================
9200 JobHistoryServer
8416 NameNode
8580 DataNode
9284 Jps
8983 NodeManager
================ node002 ================
3892 ResourceManager
3690 DataNode
4365 Jps
4015 NodeManager
================ node003 ================
3680 DataNode
3778 SecondaryNameNode
3911 NodeManager
4044 Jps
[atguigu@node001 flink-1.17.0]$ 

YARN运行模式_会话模式

这段命令是用于启动 Apache Flink 的 YARN 会话(session)的脚本,如下是每个选项和参数的含义:

  • yarn-session.sh:这是 Apache Flink 提供的用于在 YARN 上启动会话的脚本。
  • -d:这是一个选项,表示以分离模式(detached mode)启动会话。在分离模式下,会话将在后台运行,并且脚本会立即返回。
  • -nm test:这是另一个选项,用于指定会话的名称。在这个例子中,会话的名称被设置为 “test”。

综合起来,该命令的目的是在 YARN 上启动一个名为 “test” 的 Apache Flink 会话,并以分离模式运行。启动后,该会话将在后台运行,并且命令行提示符会立即返回,允许您继续执行其他操作。

[atguigu@node001 bin]$ ./yarn-session.sh --help
[atguigu@node001 bin]$ ./yarn-session.sh
[atguigu@node001 bin]$ ./yarn-session.sh -d -nm test

img

img

img

img

YARN运行模式_会话模式的停止

单作业模式部署:

在YARN环境中,由于有了外部平台做资源调度,所以我们也可以直接向YARN提交一个单独的作业,从而启动一个Flink集群。

img

停止job:

img

猜你喜欢

转载自blog.csdn.net/a772304419/article/details/132624647