小微数据量数据迁移方案

1. 将历史数据表和目标数据表转移到同一库

如果历史数据库和目标数据库是同一数据库,如都是mysql,可以使用一些工具软件如sqlyog等进行转移,或者导入导出即可;
如果历史数据库和目标数据库是不同的数据库,可以使用ETL工具kettle进行转移,kettle作为ETL工具功能非常强大,复杂的数据迁移可以全部在kettle中进行,由于我对kettle不够熟悉,这里仅仅使用到了它跨数据库进行数据复制的功能,数据的整理工作都是通过sql脚本实现的。

2. 清理多余字段(如全null字段,固定值字段)

ALTER TABLE Person
DROP COLUMN Birthday

3. 清理多余记录(如status=0)

4. 备份目标表

create table my_table_copy like my_table;
insert into my_table_copy select * from my_table;

5. 对应复制到目标表,顺便填写默认值

truncate table target_table;
INSERT INTO target_table (target_field)
select history_field from history_table;

如果存在类似“类型”的键值的列,新的key值与之前不同,迁移的时候存在一个对应关系,如果这个类型只有几种,可以迁移过来后update即可,如果较多,可以建立一张临时的对应关系表,在select的时候进行转换即可。

6. 做必要的进一步处理(如update某些特殊字段)

特殊字段如:

  • 如前台有每页10条的新闻图片,目前仅准备了10张图片,需要给每条新闻设置一个缩略图,在前台看起来每页没有重复图片
set @rownum=-1;
update news set thumb = CONCAT('/images/news_',(@rownum:=(@rownum+1)%10)+1,'.jpg');

这个迁移过程虽然简单,但实际操作也挺麻烦的,各种字段对应感觉非常乱套,本来想写篇博客梳理出一个清晰可操作性的步骤方案来,但是又好像没什么可总结的了,无非就是把数据复制过来整理整理而已,那就这样吧。

发布了67 篇原创文章 · 获赞 70 · 访问量 16万+

猜你喜欢

转载自blog.csdn.net/fukaiit/article/details/84757395