基于yarn模式Flink任务的基本操作

Background

yarn模式下,Flink 的相关命令和其他模式的所有不同,实验总结记录方便以后查找,相关命令参数不再赘述,若有问题,欢迎叨扰,记录如下:

提交一个任务(或称启动一个Flink集群)

flink run -d -m yarn-cluster -yjm 1024 -ytm 1024 -c com.cloudansys.handle.metircs.kafkasource.Application waterlogging-simulation-forecast-1.0-SNAPSHOT.jar

在这里插入图片描述

  • 如上图所示,提交成功会返回application_1594793724312_0017【容器ID】和1a34822e073f30fd7952622b9d4e5d63【JobID】,在yarn的Web界面也可以看到正在运行的该容器

触发保存点(保存点需手动触发,检查点会自动触发)

  • 【注意】这个命令里的【容器ID】和【JobID】不是上一个的,本来按顺序演示的,结果这条给忘了哈,最后补上的
flink savepoint e005af8188c0697bbc6257e56a7d61f4 hdfs:///user/flink/savepoints -yid application_1594793724312_0013

在这里插入图片描述

停止(或称取消)任务并创建保存点

flink stop 1a34822e073f30fd7952622b9d4e5d63 -p hdfs:///user/flink/savepoints -yid application_1594793724312_0017

在这里插入图片描述

  • 这里用stop命令,cancel命令已过时。需要传入刚才返回的【容器ID】和【JobID】,还有保存点的位置,成功会返回保存点的完整路径,恢复任务要用到这个路径

从保存点恢复任务

flink run -d -m yarn-cluster -s hdfs://sutong01.cloudansys.cn:8020/user/flink/savepoints/savepoint-1a3482-53090949ca2c -c com.cloudansys.handle.metircs.kafkasource.Application waterlogging-simulation-forecast-1.0-SNAPSHOT.jar

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/qq_42761569/article/details/107385947