教你成功进行数据迁移

数据迁移简单说来也只有三步动作:数据收集、数据转换、数据导入。数据收集在动态数据的收集上,常出现的问题是,数据存在差异且信息混乱。由于前端业务的不规范操作,导致原系统中存在数据不一致的情况。本文谈一谈数据迁移中的一些情况
一、容易迁移的数据
1.基础数据
通常这一类容易迁移,数据格式简单,不过会影响所有的相关业务数据,关注点为数据的主键和唯一键的方式。
2.纯历史数据的导入
这是一类仅供参考用的数据,导入比较容易。又分为纯历史数据和流程性历史数据。前者一次性导入即可,后续可以采用增量数据导入。只有在记录完全关闭后才能结束,需要进行增量导入和数据更新,同时还要进行相关查询界面的开发,以保证旧有数据能够在新系统中查询的到。
3、新老系统表结构变化较大的历史数据
这一类数据的工作量是最重的,就需要仔细去研究新老业务系统的数据结构了。
1.需要收集齐全相关原系统的相关设计文档,这一点对数据分析很有帮助,通过人的感觉和对数据的观察来分析是不严谨的。
2、在原系统上进行相关数据的观察,了解数据的变化和数据表数据的关系(对于比较难以理解的相关字段很有帮助)
在这里插入图片描述
3、比较新老系统数据的差异,如果实在很不靠谱的话,可以按流程性历史数据处理。

二、系统设计
1、做完系统分析之后,对相关数据进行归类,基础数据、纯历史数据、变化较大的历史数据
2、先从简单的入手,给自己点信心
3、在excel表中进行相关表的数据字典对照,勾画出对应字段、转换逻辑、依赖关系、必要时在新系统表上做相应的冗余,等数据迁移完毕后再清除。
三、关键点
不同数据库的字段类型的匹配问题,比如SQLServer的text,在oracle应该对应clob,但是宁愿转换成几个varchar2,从实现角度相对容易些。
关于主键的问题,一致的数据类型尽量维持现有状态,不一致的尽量采用oracle的序列或sqlserver的identity int,但是迁移完毕后,要注意序列值的更新
四、系统实现
1、PL/SQL或T-SQL,DTS、SSIS或者PowerBuilder的管道作为数据迁移的方式
2、相关业务逻辑的迁移,与数据完整性和业务相关的存储过程、触发器、函数的改写,甚至SQL的改写
在这里插入图片描述
总结:数据迁移是一项量大且繁琐的工作,在迁移中应注意,单纯的进行迁移,不要做其他东西的改动,另外考虑清楚迁移能给企业带来什么好处在做方案。

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/weixin_43943820/article/details/84849266
今日推荐