Kettle:利用设置变量(时间戳)实现数据增量更新

本文整理自:http://www.2cto.com/database/201510/447072.html

要实现实时的增量更新共有两种方法:

1.通过触发器。在要抽取的表上建立需要的触发器,一般要建立插入、修改、删除三个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个临时 表,抽取线程从临时表中抽取数据,临时表中抽取过的数据被标记或删除。触发器方式的优点是数据抽取的性能较高,缺点是要求业务表建立触发器,对业务系统有 一定的影响。
   2.通过时间戳。我是在两边数据库的表里插入了一列(用来取数据变动时的时间),然后做个计划任务,设置每隔多少时间跑一次kettle,就行了。要实现“实时”,就只能把时间间隔设小一点。

任务 :利用kettle工具,通过时间戳完成某表实时的增量更新。

利用模块完成即可,如下简图:

先手工准备一个实验环境:
准备基本完成如下效果:
select t.*, t.rowid from EMP_ETL t

编写时间戳ktr转换过程,把原表中最大的hiredate作为变量,如下图:

下面在“表输入”环节中,使用传递过来的${MAXSJ}作为条件,完成向目标表插入数据,简要流程如下:

执行转换,完成数据插入,简图如下:


总结:对于使用时间戳的方式来完成增量时,这个实验中的方法如果每次都是全表max,当数据量特别大时,效率将大打折扣。而此时,我们就需要添加一个时间戳记录表,另添加一个时间戳字段,每次抽取结束后,将每次抽取后最晚一条记录的时间戳时间记录到时间戳表中,然后每次查询起点时间时只需要从时间戳表中提取即可。



猜你喜欢

转载自blog.csdn.net/AmberTian/article/details/71171784
今日推荐