1.注意这里的增量同步,不像之前用的DBsyncer或者是,NIFI中的利用binlog的形式,实现真正的实时的数据同步.
2.这里的增量是,指定通过ID,或者时间来进行增量,比如大于2023-07-03 11:44:56的数据仅仅同步这个,或者是,id大于多少的这样,这里建议用时间,因为如果有id用的字符串咋弄来?
来看一下,如果是mysql的话,如何配置增量更新:
首先需要给,要同步的表添加一个字段:CREATE_TIME 如果是你要同步别人的表,比如到大数据平台,这样的话,不太好弄啊...别人不一定让你动...同样,开启binlog也不一定让用
alter table table1 add column `curr_time` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '最后更新时间（DataX数据采集使用）';
给这个表添加一个叫create_time的字段,默认值是当前时间
alter table tableName add column `createTime` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间';
alter table tableName add column `moditiy_time` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间';
然后开启自动更新,字段
这两个sql,我们来看一下,首先: