kettle教程---通过配置表格配置实现数据的批量增量更新(实用)

本文接上篇文章,上面文章讲的是,通过配置文件的全量更新,现在说下增量更新

如上图所示,涉及到1个转换和1个作业。

1-表增量同步(转换)

可以通过读取同步表参数这个excel表格文件,获取表名称和同步的依赖对象(本文就是cjsj创建时间),同步成功后复制记录到结果

2-增量数据同步(作业)

 我们右键点开如上图,包含了7个转换组成。

1)表数据同步设置(转换)

获取上个转换的记录,放到设置变量中。

2)表数据同步设置2(转换)

获取时间变量放入设置变量中

3)获取查询条件 (转换)

 

 3.1)点开获取查询条件,写入查询条件,放入设置变量中

4)删除目标原始数据(转换)

删除目标库的原始数据,如下图,删除重复的数据

5)待插入数据同步(转换),转换点开后,如下图,显示了获取cjsj创建时间在日志表之后的数据,插入新表

 

6)保存同步日志(转换)

 写入日志表。

这样就完成了表数据的增量更新,通过配置文件来配置相应的表数据,一个专业可以完成全量和增量的所有表的更新。

通过添加excel表的表名,实现一个调度任务,完成所有表的同步
欢迎关注公众号,学习kettle、数据库和开发方面的知识
获取例子源码,扫描下方二维码加关注

猜你喜欢

转载自www.cnblogs.com/dalaba/p/12050464.html
今日推荐