ETL哪个开源软件好

1 随数据库环境的不同可能会使用不同的工具,不过这一点并没有限制,大多工具都支持不同的数据环境。有时可以是几种工具并用,主辅结合;
oracle下可选odi,GoldenGate;sqldeveloper亦可作为加载数据的工具;
oracle warehouse则使用owb;
ibm下可选vw(visual warehouse);

mysql下可选kettle,GoldenGate;
mssql下则使用独门的dts;

2 学习的话,可先熟悉kettle,GoldenGate
 
追问
多谢大哥的回答,我还有一个疑问,项目用的都是mysql,现在有个数据抽取的功能要实现,因为没接触过ETL方面的东西,所以不知到哪个软件合适,那kettle如果在抽取数据的时候失败了(某种原因中断,可能抽了一部分数据),那对这次还没有抽取的数据,kettle的处理策略是怎样的呢??
kettle有没有定时抽取的机制??
 
追答
1 kettle是个轻量的工具,只是提供了实现功能的技术片段或基础组件,每个环节的策略需自己设计和组合各技术片段实现。换句话说,它并没有提供一个完整的策略供直接应用。

2 可以考虑以下方式:
  (1)使用源和目标表的时间戳对比,出错后按时间戳再开始即可;
  (2)每日的源数据生成一个平面数据文件,先插入到中间表(这个表每日一个,只保存当日操作的数据,这个处理期间可以进行初级汇总、验证等),再从这个中间表取数据加载到目标表(这个过程还可以完成再汇总等附加功能);出错可以设计为生成错误记录,回退则处理为当日中间表的记录在目标表中的对应删除,然后重新加载;

猜你喜欢

转载自weitao1026.iteye.com/blog/2369823