系列文章目录

文章目录

系列文章目录
前言
一、使用开源组件flink-streaming-platform-web ，管理flink任务
二、测试flink-streaming-platform-web 在重启时，从checkpoint恢复
总结

前言

flink重启，需要从checkpoint恢复。涉及到任务工程化管理，自研一套这种工具，很耗时，对小公司来说，吃力不讨好，所有寻找了个开源方案，测试flink-streaming-platform-web ，支持sql,jar，各种集群模式提交，亲测可用

一、使用开源组件flink-streaming-platform-web ，管理flink任务

flink-streaming-platform-web 使用开源组件，管理flink任务
源码地址： https://github.com/zhp8341/flink-streaming-platform-web
相关使用说明：官网写得很详细，请查看官网

二、测试flink-streaming-platform-web 在重启时，从checkpoint恢复

核心逻辑： 从mysql读到iceberg

1.代码，从mysql读到iceberg

mysql原始数据

3.启动程序
4.查看iceberg表的结果，发现同步了。

5.测试新增的变化数据

加一条id=5，和 update一条数据，如下

INSERT INTO `stock_basic` VALUES ('5', '000007.SZ', '000007', '*ST全新', '深圳', '酒店餐饮', '19920413', null);

update stock_basic set actural_controller='me me me' where i='0';

查iceberg，发现捕捉到变更了：
在这里插入图片描述

6.重启，看看能否从checkpoint恢复

在这里插入图片描述
点击恢复，跳出如下对话：

点击恢复，刷新flink主页面，发现任务正常启动：

到sink表查看数据，看看手否重复消费：
发现没有重复。
重新测试，停止程序后，写几条数据进去，看看从checkpoint恢复后，是否捕捉到变更数据

步骤1：记录savePoint
步骤2：停止程序
步骤3：insert update delete变更

INSERT INTO `stock_basic` VALUES ('6', '000008.SZ', '000008', '神州高铁', '北京', '运输设备', '19920507', '国家开发投资集团有限公司');
update stock_basic set actural_controller='汉武帝' where i='1';
delete from stock_basic where i='0';

在这里插入图片描述

步骤4：恢复程序
在这里插入图片描述
恢复后，等一个checkpoint的时间，到spark-sql查，发现，捕捉到变更

总结

这个flink-streaming-platform-web 确实好用！先用来玩玩

实践数据湖iceberg 第三十一课 使用github的flink-streaming-platform-web工具，管理flink任务流，测试cdc重启场景

系列文章目录

文章目录

前言

一、使用开源组件flink-streaming-platform-web ，管理flink任务

二、测试flink-streaming-platform-web 在重启时，从checkpoint恢复

总结

猜你喜欢

实践数据湖iceberg 第三十一课使用github的flink-streaming-platform-web工具，管理flink任务流，测试cdc重启场景