解决Dolphinscheduler中从Mysql同步分表数据至Doris或者PG库的问题

        Dolphinscheduler中有DataX类型的任务,可以很好的实现数据交换,但如果是分表就只能些union all语句,如果分表太多,写的sql太过繁琐,为了方便开发,写了一个python脚本用于处理分表过多的情况,只需要将python脚本放到Dolphinscheduler的资源中心即可。

        详细内容如下:

总共用到4个文件

pyetl>db>connect.py

pyetl>db>conf>set.py

pyetl>db>conf>database_conn.int

pyetl>bin>Mysql2X.py

路径如图:

扫描二维码关注公众号,回复: 16755996 查看本文章

这些配置好之后就可以在任务流中创建Python任务,调用我们的脚本,如下:

脚本下载地址:https://download.csdn.net/download/weixin_42258633/86763868

你学会了没?

猜你喜欢

转载自blog.csdn.net/weixin_42258633/article/details/127334953