从零开始学架构——高性能数据库集群

读写分离

读写分离的基本原理是将数据库写操作分散在不同的节点上,基本架构图如下,
在这里插入图片描述
读写分离的基本实现是
1)数据库服务器搭建主从集群,一主一从、一主多从都可以。
2)数据库主机负责读写操作,从机只负责读操作。
3)数据库主机通过复制将数据同步到从机,每台数据库服务器都存储了所有的业务数据。
4)业务服务器将写操作发给数据库主机,将读操作发给数据库从机

这里是“主从集群”而不是“主备集群”。“从机”是需要提供读数据的能力的,“备机”只备份功能,不提供访问功能。

复制延迟

以 MySQL 为例,主从复制延迟可能达到 1 秒,如果有大量数据同步,延迟 1 分钟也是有可能的。主从复制延迟会带来一个问题:如果业务服务器将数据写入到数据库主服务器后立刻(1 秒内)进行读取,此时读操作访问的是从机,主机还没有将数据复制过来,到从机读取数据是读不到最新数据的,业务上就可能出现问题。例如,用户刚注册完后立刻登录,业务服务器会提示他“你还没有注册”,而用户明明刚才已经注册成功了。

解决主从复制延迟有几种常见的方法:

1)写操作后的读操作指定发给数据库主服务器

例如,注册账号完成后,登录时读取账号的读操作也发给数据库主服务器。这种方式和业务强绑定,对业务的侵入和影响较大,如果哪个新来的程序员不知道这样写代码,就会导致一个 bug。

2)读从机失败后再读一次主机

这就是通常所说的“二次读取”,二次读取和业务无绑定,只需要对底层数据库访问的 API 进行封装即可,实现代价较小,不足之处在于如果有很多二次读取,将大大增加主机的读操作压力。例如,黑客暴力破解账号,会导致大量的二次读取操作,主机可能顶不住读操作的压力从而崩溃。

3)关键业务读写操作全部指向主机,非关键业务采用读写分离

例如,对于一个用户管理系统来说,注册 + 登录的业务读写操作全部访问主机,用户的介绍、爱好、等级等业务,可以采用读写分离,因为即使用户改了自己的自我介绍,在查询时却看到了自我介绍还是旧的,业务影响与不能登录相比就小很多,还可以忍受。

分配机制

将读写操作区分开来,然后访问不同的数据库服务器,一般有两种方式:程序代码封装中间件封装

程序代码封装

程序代码封装指在代码中抽象一个数据访问层(所以有的文章也称这种方式为“中间层封装”),实现读写操作分离和数据库服务器连接的管理。例如,基于 Hibernate 进行简单封装,就可以实现读写分离,基本架构是:
在这里插入图片描述
程序代码封装的方式具备几个特点:

1)实现简单,而且可以根据业务做较多定制化的功能。

2)每个编程语言都需要自己实现一次,无法通用,如果一个业务包含多个编程语言写的多个子系统,则重复开发的工作量比较大。

3)故障情况下,如果主从发生切换,则可能需要所有系统都修改配置并重启。

目前开源的实现方案中,淘宝的 TDDL(Taobao Distributed Data Layer,外号: 头都大了)是比较有名的。它是一个通用数据访问层,所有功能封装在 jar 包中提供给业务代码调用。其基本原理是一个基于集中式配置的 jdbc datasource 实现,具有主备、读写分离、动态数据库配置等功能,基本架构是:
在这里插入图片描述

中间件封装

中间件封装指的是独立一套系统出来,实现读写操作分离和数据库服务器连接的管理。中间件对业务服务器提供 SQL 兼容的协议,业务服务器无须自己进行读写分离。对于业务服务器来说,访问中间件和访问数据库没有区别,事实上在业务服务器看来,中间件就是一个数据库服务器。其基本架构是:

在这里插入图片描述
数据库中间件的方式具备的特点是:

  • 1)能够支持多种编程语言,因为数据库中间件对业务服务器提供的是标准 SQL 接口。

  • 2)数据库中间件要支持完整的 SQL 语法和数据库服务器的协议(例如,MySQL 客户端和服务器的连接协议),实现比较复杂,细节特别多,很容易出现 bug,需要较长的时间才能稳定。

  • 3)数据库中间件自己不执行真正的读写操作,但所有的数据库操作请求都要经过中间件,中间件的性能要求也很高。

  • 4)数据库主从切换对业务服务器无感知,数据库中间件可以探测数据库服务器的主从状态。例如,向某个测试表写入一条数据,成功的就是主机,失败的就是从机。

由于数据库中间件的复杂度要比程序代码封装高出一个数量级,一般情况下建议采用程序语言封装的方式,或者使用成熟的开源数据库中间件。如果是大公司,可以投入人力去实现数据库中间件,因为这个系统一旦做好,接入的业务系统越多,节省的程序开发投入就越多,价值也越大。

目前的开源数据库中间件方案中,MySQL 官方先是提供了 MySQL Proxy,但 MySQL Proxy 一直没有正式 GA,现在 MySQL 官方推荐 MySQL Router。MySQL Router 的主要功能有读写分离、故障自动切换、负载均衡、连接池等,其基本架构如下:

在这里插入图片描述
奇虎 360 公司也开源了自己的数据库中间件 Atlas,Atlas 是基于 MySQL Proxy 实现的,基本架构如下:
在这里插入图片描述

分库分表

读写分离分散了数据库读写操作的压力,但没有分散存储压力,当数据量达到千万甚至上亿条的时候,单台数据库服务器的存储能力会成为系统的瓶颈。

业务分库

业务分库指的是按照业务模块将数据分散到不同的数据库服务器。例如,一个简单的电商网站,包括用户、商品、订单三个业务模块,我们可以将用户数据、商品数据、订单数据分开放到三台不同的数据库服务器上,而不是将所有数据都放在一台数据库服务器上。
在这里插入图片描述
虽然业务分库能够分散存储和访问压力,但同时也带来了新的问题。

join操作问题

业务分库后,原本在同一个数据库中的表分散到不同数据库中,导致无法使用SQL的join查询。
例如:“查询高等数据这门课程及格的女生姓名”这个功能,虽然成绩数据库中有学生的ID信息,但是学生的性别数据在学生数据库中,如果在同一个库中,简单的join查询就能完成;
但现在数据分散在两个不同的数据库中,无法做join查询,只能采取先从成绩数据库中查询成绩及格的学生ID列表,然后再到学生数据库中查询这批学生ID中的女生列表,实现比较复杂。

事务问题

原本在同一个数据库中不同的表可以在同一个事务中修改,业务分库后,表分散到不同的数据库中,无法通过事务统一修改。
虽然数据库厂商提供了一些分布式事务的解决方案(例如,MySQL的XA),但性能太低,与高性能存储的目标是相违背的。
例如,用户下订单的时候需要扣商品库存,如果订单数据和商品数据在同一个数据库中,我们可以使用事务来保证扣减商品库存和生成订单的操作要么都成功要么都失败,
但分库后就无法使用数据库事务了,需要业务程序自己来模拟实现事务的功能。
举个栗子:
先扣商品库存,扣成功后生成订单,如果因为订单数据库异常导致生成订单失败,业务程序又需要将商品库存加上;
而如果因为业务程序自己异常导致生成订单失败,则商品库存就无法恢复了,需要人工通过日志等方式来手工修复库存异常

成本问题

业务分库同时也带来了成本的增加,本来1台服务器搞定的事情,现在要3台,如果考虑备份,那就是2台变成了6台。

基于以上原因,对于小公司初创业务,不建议一开始就分库,主要有几个原因:

初创业务存在很大的不确定性,业务不一定能发展起来,业务开始的时候并没有真正的存储和访问压力,业务分库并不能为业务带来价值。

业务分库后,表之间的join查询、数据库事务无法简单实现了。

业务分库后,因为不同的数据要读写不同的数据库,代码中需要增加根据数据类型映射到不同数据库的逻辑,增加了工作量。而业务初创期间最重要的是快速实现、快速验证,业务分库会拖慢业务节奏。

你可能会想:如果业务真的发展很快,岂不是很快就又要进行业务分库了?那为何不一开始就设计好呢?
根据“架构设计三原则”,简单分析一下。

这里的“如果”发生的概率比较低,做10个业务有1个业务能活下去就很不错了,更何况快速发展,和中彩票的概率差不多。如果我们每个业务上来就按照淘宝、微信的规模去做架构设计,不但会累死自己,还会害死业务。

如果业务真的发展很快,后面进行业务分库也不迟。因为业务发展好,相应的资源投入就会加大,可以投入更多的人和更多的钱,那业务分库带来的代码和业务复杂的问题就可以通过增加人来解决,成本问题也可以通过增加资金来解决。

单台数据库服务器的性能其实也没有想象的那么弱,一般来说,单台数据库服务器能够支撑10万用户量量级的业务,初创业务从0发展到10万级用户,并不是想象得那么快。

而对于业界成熟的大公司来说,由于已经有了业务分库的成熟解决方案,并且即使是尝试性的新业务,用户规模也是海量的,这与前面提到的初创业务的小公司有本质区别,因此最好在业务开始设计时就考虑业务分库。
例如,在淘宝上做一个新的业务,由于已经有成熟的数据库解决方案,用户量也很大,需要在一开始就设计业务分库甚至接下来介绍的分表方案。

分表

分表是将不同业务数据分散存储到不同的数据库服务器,能够支撑百万甚至千万用户规模的业务,但如果业务继续发展,同一业务的单表数据也会达到单台数据库服务器的处理瓶颈。例如,淘宝的几亿用户数据,如果全部存放在一台数据库服务器的一张表中,肯定是无法满足性能要求的,此时就需要对单表数据进行拆分。

单表数据拆分有两种方式:垂直分表和水平分表。示意图如下,
在这里插入图片描述
1)垂直分表适合将表中某些不常用且占了大量空间的列拆分出去。
2)水平分表适合表行数特别大的表。

需要注意的是,水平分表相比垂直分表,会引入更多的复杂性,主要表现在下面几个方面:

水平分表后,某条数据具体属于哪个切分后的子表,需要增加路由算法进行计算。这个算法会引入一定的复杂性。常见的路由算法有:

  • 范围路由

一般建议分段大小在 100 万至 2000 万之间。

优点:可部分迁移。范围路由的优点是可以随着数据的增加平滑地扩充新的表。例如,现在的用户是 100 万,如果增加到 1000 万,只需要增加新的表就可以了,原有的数据不需要动。

缺点:数据分布不均,可能2003年的订单有100W,2008年的有500W。且跨年查询实现方式困难可能会查多张表。再如按照 1000 万来进行分表,有可能某个分段实际存储的数据量只有 1000 条,而另外一个分段实际存储的数据量有 900 万条。

  • Hash 路由

选取某个列(或者某几个列组合也可以)的值进行 Hash 运算,然后根据 Hash 结果分散到不同的数据库表中。
Hash 路由的优缺点和范围路由基本相反,Hash 路由的优点是表分布比较均匀,缺点是扩充新的表很麻烦,所有数据都要重分布。

  • 配置路由

即路由表,用一张独立的表来记录路由信息。同样以用户 ID 为例,我们新增一张 user_router 表,这个表包含 user_id 和 table_id 两列,根据 user_id 就可以查询对应的 table_id。

配置路由设计简单,使用起来非常灵活,尤其是在扩充表的时候,只需要迁移指定的数据,然后修改路由表就可以了。

配置路由的缺点就是必须多查询一次,会影响整体性能;而且路由表本身如果太大(例如,几亿条数据),性能同样可能成为瓶颈,如果我们再次将路由表分库分表,则又面临一个死循环式的路由算法选择问题。

  • join 操作问题

水平分表后,数据分散在多个表中 ,如果需要与其他表进行join查询,需要在业务代码或数据库中间件中进行多次join查询,然后将结果合井

  • count 操作问题

水平分表后,虽然物理上数据分散到多个表中,但某些业务逻辑上还是会将这些表当作一个表来处理,例如,获取记录总数用于分页或展示,水平分表前用 一个count()就能完成的操作,在分表后就没那么简单了, 常见的处理方式有:

  • count() 相加

具体做法是在业务代码或数据库中间件中对每个表进行count()操作,然后将结果相加 。这种方式实现简单,缺点就是性能比较低 ,例如,水平分表后切分为20张表,则要进行20次count(*) 操作,如果串行的话, 则可能需要几秒钟才能得到结果。

  • 记录数表

具体做法是新建一张表,假如表名为"记录数表",包含table_name、row_count两个字段,每次插入或删除子表数据成功后,都更新“记录数表”。这种方式获取表记录数的性能要大大优于count()相加的方式,因为只需要一次简单查询就可以获取数据。缺点是复杂度增加不少,对子表的操作要同步操作“记录数表”,如果有一个业务逻辑遗漏了,数据就会不一致;且针对“记录数表”的操作和针对子表的操作无法放在同一事务中进行处理,异常的情况下会出现操作子表成功了而操作记录数表失败,同样会导致数据 不一致。
此外,记录数表的方式也增加了数据库的写压力,因为每次针对子表的insert和delete操作都要update记录数表,所以对于一些不要求记录数实时保持精确的业务,也可以通过后台定时更新记录数表。定时更新实际上就是“ count()相加”和“记录数表”的结合,即定时通过count()相加计算表的记录数,然后更新记录数表中的数据。

  • order by 操作

水平分表后,数据分散到过个字表中,排序操作无法在数据库中完成,只能由业务代码或数据库中间件分别查询每个字表中的数据,然后汇总再排序。

分库分表的实现方法和读写分离类似,也是通过程序代码封装中间件封装来实现,但实现上更为复杂。

猜你喜欢

转载自blog.csdn.net/zkkzpp258/article/details/129911077