基于linux环境下 kettle 8.2.0的应用

kettle 可以在Windows平台或者linux平台运行,我这边考虑做集群部署模式,所以采用linux环境,详细的部署(https://blog.csdn.net/weixin_42575806/article/details/113542806)和跨平台操作(https://blog.csdn.net/weixin_42575806/article/details/113546635

见之前的博客 记录。

本文主要采用基于linux集群下面的kettle使用

1. 创建Transformation 选择input--》table input 创建数据抽取表(直接拖拽到主界面中即可)

设置源数据库地址,我这边主要是mysql,配置完成 后需要test测试一下;

备注说明:如果test报数据库缺少jdbc驱动 需要下载对应的数据库驱动(mysql-connector-java-5.1.48.jar,mysql-connector-java-8.0.17.jar)

2. 选择output--》insert/update (直接拖拽到主界面)

注意事项:

1)ignore  insert errors 一定需要勾选。原因是第一次导入是成功的,第二次导入与第一次可能存在重复的条数就会导致抽取insert失败(如果你能保障每次抽取的都是最新不重复的数据也可以,那就需要修改input中的SQL语句 ) 

2)选择input 按住shift 再次点击input 再连接output形成依赖关系。这样才能实现getfile配置

2. 重新创建Transformation 选择input--》table input 创建数据抽取表(直接拖拽到主界面中即可)

output选择Update 

3. 创建一个job任务  选择general-》start 直接拖拽到主界面中即可)

设置定时任务的时间并选择repeat 重复执行,执行类型 可以按照分钟 也可以按照天 星期,月份等

 insert和update依次添加xx.ktr(就是前面创建的Transformation文件),配置好后直接点击运行,定时会执行对应的数据抽取功能。

猜你喜欢

转载自blog.csdn.net/weixin_42575806/article/details/115465127
今日推荐