让数据不“流浪”,金仓KFS保障每条数据安全抵达“新家园”

98f72da9801bc493fa1113e68cfc2007.gif

数据库国产化迁移,

如何确认全库迁移数据是否一致?

TB级数据,

怎么才能快速逐条校验?

单表巨大,

数据校验无从下手?

项目背景

某财务系统数据库服务采用2节点的Oracle RAC实例,现需要进行国产化改造,将数据迁移到4节点部署的一主三备KES高可用集群中。

5ad0bc4b37ef33cf30569fc758d78b3c.png

全库数据量级高达TB级。财务系统数据至关重要,且停机窗口时间有限,客户要求在数据迁移后的10小时内完成数据一致性确认。面对繁杂的数据类型,如此大的数据量,而且数据一致性校验又是对全库数据内容的逐条校验,对常规的校验工具来说,几乎是不可能的任务。

而事实也证明了本次任务难度:项目验证阶段,现场技术人员小刘采用的校验工具无法按时完成校验任务。

数据库迁移,

如何保障每条数据安全抵达“新家园”,

小刘求助金仓MOSS,

开启“灵魂发问”

.........

ad9d63d8bef9d93f064a7b86bb866e60.jpeg

嘿~终于等到你,还好我没放弃!

这里是金仓MOSS,关于数据库的问题,我都可以为您解答。

TB级数据迁移后,怎么才能完成数据一致性校验?

d1ae99b77ac69183fb5c4174e211c4ce.png

aee6b7bd4b00034391c730664323f6ad.jpeg

经过我的认真思考,推荐使用金仓异构增量数据同步产品KFS,支持TB级大数量的快速校验,同时也支持差异数据修复,最大程度确保数据稳定。

您的数据迁移场景具体情况是?

异构数据库迁移,Oracle 12c RAC迁移至KES集群。

dff4c5e80b09725bfd1773a803a7eb4e.png

64c7ad7b2f7ec962c7fd4f7b89ae1550.jpeg

全库数据量多大?表的数据库量分布如何?

全库有570+张表,800+分区。全库数据量1TB+,约20亿+条数据,单表最大数据量100G+,7亿条数据。

3c485460219dbe18cf7669a3b5e0a9f0.png

002884c90b866c92c0c34691d64862cd.jpeg

好的,数据类型包含哪些?

除常见的整型、字符型、日期类型外,还有数据校验比较棘手,会极大拉低校验速度的大对象类型、xml等类型。

f8e13495721c092590d3f51df6c7328a.png

a8c39d1805ad78ecd84324a104dbe2e8.jpeg

请问对数据校验的完成时间是否有要求?

停机窗口时间有限,必须在10小时内完成全库的数据一致性确认。

3a45495e77d402640af8e72f42bf9b6a.png

868c060512c7e0c788a45db9b676005c.jpeg

没问题,后台将根据您的数据校验场景进行模拟验证。

稍等,金仓MOSS从未离开.....

674e703c982e817de12edfeda88e6c80.jpeg

恭喜您。经历测试环境多轮验证,平均耗时7小时16分,完全能满足您的需求。

测试环境验证结果:

第1次:耗时7小时22分

第2次:耗时7小时10分

第3次:耗时7小时17分

面对如此复杂困难的场景,为什么KFS能超出预期完成任务?

7f97ee3586249658e395c6a2f8d97e49.png

4e8694fc2a6efbddbc47a4b7ee3c6298.jpeg

KFS能轻松完成任务,离不开大表分片和多表并行校验技术。

  • 大表分片

对于单表大数据量校验的情况,KFS可以根据指定列的数据,将大表数据拆分成多个区间,通过比对各区间的数据,从而覆盖全表数据。

7149429c76ea93aa1aa59ffcb5bf7f0e.png

  • 多表并行校验

对于全库数据校验的情况,KFS支持设置并行数,多表并行校验,充分利用硬件资源,提高校验性能,减少校验耗时。

9609c47cc718221ad2af4672aa08d083.png

技术可行,但时间紧迫,现场人员的实施工作难度如何?

18e11ad7c43445da1a9144392cb94063.png

942e2815767695167501b60c69357dfc.jpeg

您是想要官方的回答还是幽默的回答?

想要你的回答。

c24b93523075921b24e3b1d86f5a4567.png

cfc3b5bb4679b3723d594c4d4195b983.jpeg

我的回答是别担心。KFS图形化界面提供了任务创建、校验执行、校验进度监控及结果查看,通过图形界面覆盖了数据校验的全生命流程,易上手,极大降低了使用难度。

最后,祝您好运。

结果如何呢?

国产化迁移如期开始,在数据库迁移完成后,小刘使用KFS图形化管理平台,快速创建和设置数据校验任务,利用KFS大表分片和多表并行校验技术顺利完成全库数据校验,共耗时7小时05分。经过应用验证后,项目圆满上线。

edc9971b8f2464af5d37fcb15b6d7ffb.gif

“数据千万条,安全第一条”。数据库国产化迁移中,数据一致性保障非常重要。KFS作为一款面向同城/异地灾备等场景的异构增量数据同步产品,在保证自身数据同步高可用、高可靠、高性能的同时,考虑到用户对数据一致性的强烈需求,为用户提供了数据校验功能,不仅支持TB级大数量的快速校验,同时也支持差异数据修复,最大程度确保数据安全。

彩蛋

关于金仓KFS,

有的朋友或许还有疑问,

现在后台留言,

金仓MOSS将继续为您解答哦~

对于金仓KFS的使用体验,

欢迎更多朋友留言,

一旦成为精选评论,

获赞前十名的伙伴,

小编将送上精美礼品,

感谢关注~

6fa95e28689a6441d7348adce731aef0.png

供稿:产品研发中心

编辑:王堇

审核:日尧

9aa7721a5d71d9ebf3f472b42e1a7fc5.gif

猜你喜欢

转载自blog.csdn.net/Kingbase_/article/details/129173688
今日推荐