在HHDI中利用Excel模板批量创建数据抽取任务

大部分的ETL或者数据迁移项目不可避免的会从源系统中抽取很多源表的数据到目标数据库中,少则几十张表,多则成百上千,这些表的抽取规则往往比较简单,只需要从源表中增量或者全量的抽取原始数据到目标数据库中,不需要做过多的清洗和转换,也就是ELT模式中的EL操作,这部分没什么技术含量但是重复工作量比较大,因此需要一种简便快速的方法来创建生成这些数据抽取任务。

在HaoheDI中实现这个步骤非常简单,现在举例说明一下详细的步骤:

假设我需要从源数据库SAMPLE_MSSQL(MSSQLServer)抽取下边的这些源表到目标数据库SAMPLE_ORACLE的ODS表中。

clipboard

如果SAMPLE_ORACLE数据库中还没有创建对应源表的ODS表,可以参照另外一篇文章(https://www.cnblogs.com/haohedi/p/10683596.html)通过“创建ODS表”功能快速在SAMPLE_ORACLE中生成对应的ODS表,如下图所示:

clipboard

可以将源和目标的元数据信息通过导出文本功能导出到excel文件中,后边在批量创建模板中会用到。

现在源表和目标表都有了,开始批量创建数据抽取任务了

打开转换任务页面,选择批量新建-》抽取任务:

clipboard

进入批量创建数据抽取任务页面,先配置好一个表的抽取,用作excel中的模板,然后点击导出批量创建模板按钮,将这一条数据导出到excel文件中。

clipboard

打开该excel文件,通过Excel的各种技能,将源表和目标表的信息配置好,源表和目标表的表名可以通过点击元数据的“导出文本”按钮,将数据导出到另外的Excel文件中后,再拷贝到批量抽取的Excel模板中。

模板配置如下(分2屏):

clipboard

clipboard[1]

注:<SOURCETABLE>和<TARGETTABLE>是模板变量,生成任务时可以替换成源表名和目标表名

Excel模板配置好后,保存文件。点击通过模板批量创建按钮,选择该模板文件,导入,如果目录中已存在该编号的任务,则这一个任务将创建失败。

clipboard[2]

创建好的任务显示如下:

clipboard[3]

猜你喜欢

转载自www.cnblogs.com/haohedi/p/11114037.html
今日推荐