使用kettle配合kettle-monitor-platform 对数据进行增量和全量抽取,软件包可云盘下载——咖啡汪

一、这套系统搭建的背景:
本汪带领的团队,需要配合政府某局, 接入其下属全部国企集团待处理数据,进行数据统计,我方负责前置库构建。需要将oracle, sql server, mysql 等数据统一归集入mysql数据库。

二、开源框架的选择:
开源软件:开源软件 kettle 版本:Pentaho Data Integration 8.3.0.-371
kettle可视化管理平台:kettle-monitor-platform
数据库: mysql
这套系统,已经部署使用1年,未出现问题。
系统全部软件,均可从云盘免费下载,取之于开源,贡献于开源。
云盘地址链接:https://pan.baidu.com/s/1STzIoY5NpCzdyFG4Jds3oA
提取码:9545

三、软件搭建步骤详细:
1、软件包内文件说明:
在这里插入图片描述
doc: kettle-monitor-platform 数据库创建sql 脚本。

sqlserver_mysql_connect_jar: kettle连接 sql server时,缺少的jar包

SQLyog-8.32(sn): 不同类型数据库oracle,sql server等表结构转mysql数据库表结构工具,类似于navicat,但比他更适合。

apache-tomcat-9.0.36-windows-x64.zip: tomcat 9.0.36压缩包,解压后直接使用。

重点:
1.data-integration.zip: Pentaho Data Integration 8.3.0.-371压缩包
(1)已经植入了kettle连接sql server,mysql 的jar包。jar包位于kettle\data-integration\lib内
(2)节点配置已经完成,结合数据抽取工具使用及流程.docx可直接使用。
在这里插入图片描述
2、kettle-monitor-platform.zip : kettle-monitor-platform二次开发后的源码。导入idea 后,修改为自己的数据库连接,可直接打war 包使用,pom文件都是配置好了的。

3、数据抽取工具使用及流程.docx : 写明了系统搭建和使用过程中,碰到的各类问题的解决之法。

四、有需要的小伙伴,可自行拿去研究。
所用到的开源软件,均可在https://gitee.com/ 搜索到。

Guess you like

Origin blog.csdn.net/weixin_42994251/article/details/121205339