Dolphinscheduler中有DataX类型的任务,可以很好的实现数据交换,但如果是分表就只能些union all语句,如果分表太多,写的sql太过繁琐,为了方便开发,写了一个python脚本用于处理分表过多的情况,只需要将python脚本放到Dolphinscheduler的资源中心即可。
详细内容如下:
总共用到4个文件
pyetl>db>connect.py
pyetl>db>conf>set.py
pyetl>db>conf>database_conn.int
pyetl>bin>Mysql2X.py
路径如图:
扫描二维码关注公众号,回复:
16755996 查看本文章
这些配置好之后就可以在任务流中创建Python任务,调用我们的脚本,如下:
脚本下载地址:https://download.csdn.net/download/weixin_42258633/86763868