第一步配置flink-conf.yaml文件
high-availability: ZOOKEEPER
high-availability.cluster-id: eve_flink_1
high-availability.storageDir: hdfs:///flink/checkpoints
high-availability.zookeeper.path.root: /flink
high-availability.zookeeper.quorum: test01:2181,test02:2181,test03:2181
yarn.application-attempts: 2
第二步配置Flink conf目录下的zoo.cfg,添加一下配置,将原来的删除掉
server.1=test01:2888:3888
server.2=test01:2888:3888
server.3=test01:2888:3888
第三步 启动Flink Job,可以使session方式,也可以是flink run方式。
第四步验证HA
- 首先利用yarn的web ui找到提交的flink job,然后找到该任务的jobmanager在哪台机器上,然后去该机器上去kill掉jobmanager。如果是session模式进程名字为YarnSessionClusterEntrypoint,如果是flink run方式进程名字为YarnJobClusterEntrypoint。
- 第二步去看该Job下的appattempt是否更新了。效果如下