Flink on yarn 集群启动步骤

一、Flink on yarn 集群搭建。

见笔者的博文:https://blog.csdn.net/magic_kid_2010/article/details/97004746

二、Flink on yarn 集群启动步骤。

步骤1:用户向 YARN 提交应用程序,其中包括 ApplicationMaster 程序、启动ApplicationMaster的命令、用户程序等。

步骤2:ResourceManager 为该应用程序分配第一个 Container,并与对应的 Node-Manager 通信,要求它在这个 Container 中

启动应用程序的 ApplicationMaster。

步骤3:ApplicationMaster 首先向 ResourceManager 注册,这样用户可以直接通过 ResourceManager 查看应用程序的运行状

态,然后它将为各个任务申请资源,并监控它的运行状态,直到运行结束,即重复步骤4~7。

步骤4:ApplicationMaster 采用轮询的方式通过 RPC 协议向 ResourceManager 申请和领取资源。

步骤5:一旦 ApplicationMaster 申请到资源后,便与对应的 NodeManager 通信,要求它启动任务。

步骤6:NodeManager 为任务设置好运行环境(包括环境变量、JAR包、二进制程序等)后,将任务启动命令写到一个脚本中,

并通过运行该脚本启动任务。

步骤7:各个任务通过某个 RPC 协议向 ApplicationMaster 汇报自己的状态和进度,以便让 ApplicationMaster 随时掌握各个任务

的运行状态,从而可以在任务失败时重新启动任务。  在应用程序运行过程中,用户可随时通过 RPC 向 ApplicationMaster 查询

应用程序的当前运行状态。

步骤8:应用程序运行完成后,ApplicationMaste r向 ResourceManager 注销并释放占用的相关资源。

如果有写的不对的地方,欢迎大家指正。有什么疑问,欢迎加QQ群:176098255

发布了82 篇原创文章 · 获赞 13 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/magic_kid_2010/article/details/103909700
今日推荐