银行分布式数据库改造方案实践与探索

主题:银行分布式数据库改造方案实践与探索

大纲:

1. 分布式数据库可以带给我们哪些优势或者有哪些不足
2. 对于数据库从业人员推荐哪种开发技能
3. 对于新加入DB相关从业人员,分享经验和建议
4. 分布式数据库下表关联的计算场景,推荐如何把控
5. 从传统数据表迁移到分布式数据库有哪些需要注意的点

听说3306π要搞事情了

是啊,马上要搞3306π深圳站了

啊,是吗?哪天啊,在哪里办,怎么报名?

12月19日,就在深圳南山区海岸城,点文末的原文链接或者扫描二维码就可以报名了,一起来吹吹牛逼。

嘉宾自我介绍

扫描二维码关注公众号,回复: 12166927 查看本文章

王辉  数据库专家 15年互联网、金融行业架构及IT运维管理经验,专注数据与数据库领域,精于构建系统安全与智能运维体系,善于系统架构优化及全链路分析诊断;丰富的IT项目开发、设计、管理经验;精通关系型数据库MySQL/Oracle、非关系型数据库Redis/MongoDB,近些年主要从事对国产、开源分布式数据库的调研与推广、异构数据库的改造与迁移等相关工作。

01

请问王老师,分布式数据库可以带给我们哪些优势或者有哪些不足吗?

优势:

1) 高扩展:当业务数据不断扩大,性能出现瓶颈,无法通过增加硬件资源获得提升时,分布式数据库可以通过将数据拆分横向扩充方式来解决

2) 高可靠:分布式数据库具备多副本特性,同时基于共识协议可以确保副本的数据一致性

3) 高可用:对于节点故障可以自动切换,无需人工干预,对应用透明

不足:

1) 由于分布式数据库是通过网络将各数据节点链接在一起,因此对网络带宽要求较高,任何网络的延迟等造成的问题都会被放大

2) 分布式事务大部分采用2PC的方式,虽然各厂商的产品都做过优化,但受制于原理,性能依然会有一定的损耗

3) 对特定的对象和语法存在限制,对开发来说有一定的改造成本

4) 成熟度相对较低、学习和运维成本较高

02

王老师经验丰富,作为数据库从业人员,开发技能必不可少,您比较推荐哪种开发技能呢?

基础的Shell脚本语言可以实现简单的自动化运维;phyon语言可以实现更加复杂的自动化、甚至智能化运维管理的要求,非常建议熟练掌握与运用。

03

王老师作为成功的过来人,您对于新加入DB相关从业人员,可以分享下您的经验和建议吗?         

1) 培养自己良好的操作习惯,要有敬畏心,切不要凭感觉盲目操作。

2) 培养自己对问题故障处理的思路,对于生产故障,切不要自己过多的思考不能自拔,可通过第一时间询问他人等方式快速处理后,再慢慢分析与研究,把快速处理故障放在第一位。

3) 培养自己记录问题的习惯,通过不断的积累提升自己的写作与分析问题能力。

4) 培养自己不断学习与创新的能力,慢慢体会如何才能更好,更高效,更简单的完成自己的工作。

04

分布式数据库下表关联的计算场景,您推荐如何把控呢?         

1) 表关联一般不建议超过3张表以上的链接,需要结合业务场景和业务逻辑,对于分布式数据库表关联一定要采用分片键,这样才能确保数据在各分片节点分别进行关联而不垮分片节点,避免网络广播造成的垮节点数据汇聚开销;

2) 对于非分片表的关联,可以采用建立全局表的方式解决垮节点的问题;

3) 要培养开发人员的能力水平,制度相关开发规范,建立SQL审计流程,尽量避免业务逻辑简单而实现复杂化的现象。

05

请问王老师,从传统数据表迁移到分布式数据库,有哪些点需要注意的吗?  

1) 数据库的对象和语法兼容性问题,决定了开发改造成本

2) 迁移后的性能问题,性能至少不能低于原传统数据库

3) 迁移后的数据一致性问题,要反复验证确保数据迁移前后一致

4) 迁移时间窗口及操作风险,根据不同的时间窗口和数据量大小制度不同的迁移方案,同时要避免人为的操作风险

5) 全面的业务测试:包括应用功能、应用性能、稳定性等测试,数据是服务业务的,最终的成功以业务为准,因此在测试阶段,一定要对迁移后的数据做全面的业务验证测试

6) 制作详尽的迁移方案,同时寻找一个完善的迁移工具会事半功倍

7) 制度回退策略,以处理在遇到极端情况只能通过回退才能解决的问题。

总体上要做到数据完整一致性原则,业务稳定运行原则,成本可控原则和回退可信原则。

扫码报名

点击文末“阅读原文”链接亦可报名

参与活动

学习新技能

赢取罗小波新书《MySQL复制技术和生产实践》和爱可生精美杯子

活动规则

《年轻人不讲武德?12月19日来3306π深圳站学点真本事》下方留言

写下您对本次活动的建议

或是想向嘉宾提出的问题

有效留言被选中后,点赞数超过30

按点赞数排名取前10名

赠送礼品

二者任选其一

关于「3306π」社区

围绕 MySQL 核心技术,将互联网行业中最重要的数据化解决方案带到传统行业中;囊括其他开源技术RadonDB、ClickHouse、Redis、MongoDB、Hbase、Hadoop、ElasticSearch、Storm、Spark等;分享干货知识,即便是赞助商,也要求如此,拒绝放水

猜你喜欢

转载自blog.csdn.net/n88Lpo/article/details/111148051