阿里云 数加 · DataWorks 数据同步

数据同步

当业务数据进入阿里云maxcomputer,我们或许需要进行一些简单的流程化处理,比如进行数据回流至mysql或是其他数据库,需要创建数据同步任务。

进入dataworks2.0 控制台

在左侧数据发开中新建业务流程,我们可以在数据集成中创建数据同步任务,进行数据的双向同步;当然我们首先确保我们已经添加数据源,即将我们的业务数据库地址添加至数据源,才能到这里创建数据同步任务,如果没有,会有指引页面。

数据同步任务创建完毕

在这里我们可以设置 双向数据源,以及一些其他选项。如果要进行周期调度,需要在右侧 调度配置进行设置,

字段映射 ,可选择需要映射字段,可交叉选择,刷新可自动排版,

通道控制则是对传输效率进行一些控制

数据增量同

注意事项:

  • 每一个任务都可以设置调度依赖,如果此任务没有上游依赖,则可以使用根结点,否则选择相应的依赖节点。
  • 周期调度时间可以选择发布后生效,或是 T + 1 日生效
  • 无论是数据同步任务或是sql任务 完成后必须提交发布 才可生效

                  

将数据从maxcomputer中进行查询后进行数据的同步或者数据统计结果的同步

我们需要

在图一的数据开发中新建sql节点 当我们完成sql语句的开发,我们同样可以设置定时任务,同样在右侧调度配置中

周期任务设置完成后,可以在运维中心  周期任务中进行查看  

  • 我们可以设置数据同步依赖某一个sql节点,同样是在调度配置中的调度依赖进行设置,将sql节点的输出节点作为数据同步的上游节点
  • 也可以将定时的sql任务结果insert到新的数据表,再创建此表与业务表之间数据同步关系

MaxCompute开发者社区群号 : 11782920 钉钉

猜你喜欢

转载自blog.csdn.net/RedPintings/article/details/84943579