Sharding-jdbc的实战入门之水平分表(一)

享学课堂特邀作者:老顾
转载请声明出处!!!

前言

上一篇文章中老顾介绍了sharding-jdbc的基本概念,今天老顾就来介绍一下如何使用。

经常碰到一些小伙伴的问题,就是我们到达什么量级才会分库分表

分库分表经验值

mysql单表经验

  • 300W Mysql 可以轻松抗住

  • 600W 数据开始卡,优化可以解决(表结构,索引设计)

  • 800W ~ 1000W 牛逼的DBA 优化都会遇到瓶颈

一般MySQL单表1000W左右的数据是可以不需要考虑分表的。当然,除了考虑当前的数据量和性能情况时,我们需要提前考虑系统半年到一年左右的业务增长情况。但是要避免过度设计(考虑了很多未来几年的需求,例如一张表在未来几年内数据预计会达到几千万,这个就过渡考虑了)

根据数据量增长速度,选择实现步骤

第一步:不分库不分表

第二步:同库内的分表

第三步:分库分表

不要过度设计,一上来玩大的就进行分库分表

分库如果多个实例存在同一台服务器上,只是解决了数据库最大连接数的问题,但是 io(数据库数据是存储在硬盘上,每次获取都需要去硬盘把数据捞出来),cpu 等服务器资源瓶颈并没有解决数据库的性能取决于服务器等性能。

搭建环境

我们采用SpringBoot + MybatisPlus + Shrading-JDBC + Druid链接池。

POM.xml依赖

老顾用了相对比较新的版本,SpringBoot 2.2.9,Sharding-Jdbc4.1.1版本。

水平分表,创建数据库表

  1. 创建数据库course_db

  2. 创建两张表course1,course2

course1、course2的表结构

分表规则

如果增加的课程cid为偶数把数据插入到course1,如为奇数把数据插入到course2中。

持久化mybatis

我们引用的是mybatis-plus

定义实体类

在这里插入图片描述

操作数据mapper

启动类,MapperScan

到此环境搭建完成。

配置分表策略

配置数据源

#配置数据源

数据源地址

#配置数据源具体内容,

注意数据源的名称,和数据源地址配置的用的数据源一致。

表分布

指定course表分布情况,配置表在哪个数据库里面,表名称是什么 #m1.course1;m1.course2 spring.shardingsphere.sharding.tables.course.actual-data-nodes=m1.course_$->{1…2}

上面的表达式m1.course_$->{1…2}表示course表的分布,利用了行表达式算法指明真实的表名;course这个表为逻辑表。

表的主键定义

指定course表里面的键cid生成策略 spring.shardingsphere.sharding.tables.course.key-generator.column=cid spring.shardingsphere.sharding.tables.course.key-generator.type=SNOWFLAKE

上面指定了主键为cid,并且利用雪花算法生成,小伙伴不了解雪花算法,可以查看老顾之前的文章。

策略

指定分片策略 cid为偶数添加到course1表,为奇数添加到course2表中 spring.shardingsphere.sharding.tables.course.table-strategy.inline.sharding-column=cid spring.shardingsphere.sharding.tables.course.table-strategy.inline.algorithm-expression=course_$->{cid % 2 + 1}

上面定了course逻辑表的table-strategy策略,根据cid字段,表达式course_$->{cid % 2 + 1},可以看到cid%2 + 1,就是对2取模 + 1,就会落到1、2。

sql日志

打开sql输出日志 spring.shardingsphere.props.sql.show=true

输入执行sql日志

不要忘了允许覆盖重复的Bean spring.main.allow-bean-definition-overriding=true

测试类

上面循环10次,进行课程course插入

执行报错了

我们看看错误信息是什么

BeanCreationException: Error creating bean with name ‘dataSource’ defined in class path resource [com/alibaba/druid/spring/boot/autoconfigure/DruidDataSourceAutoConfigure.class]: Invocation of init method failed; nested exception is org.springframework.boot.autoconfigure.jdbc.DataSourceProperties$DataSourceBeanCreationException: Failed to determine a suitable driver class at org.springframework.beans.factory.

如上所示,DruidDataSourceAutoConfigure Failed to determine a suitable driver class,即druid找不到mysql driver,然而mysql的驱动包啥的都没问题,于是直接点进DruidDataSourceAutoConfigure查看源码。

DruidDataSourceWrapper类源码

如上,标红表明druid是根据spring.datasource.druid找jdbc属性的,如果not found,则根据spring.datasource找jdbc属性,一般而言这是不会出现错误的。但是我这里使用了shardingjdbc,并没有配置spring.datasource,根据spring.datasource.druid或者spring.datasource确实找不到,因为我的结构是spring.shardingsphere.datasource

怎么解决呢?

排除Druid数据源自动配置

解决方式1:

如果我们用的jar包是druid-spring-boot-starter,则在启动类上排除druid自动配置。

@SpringBootApplication(exclude = {DruidDataSourceAutoConfigure.class})

解决方式2:

不用

<dependency>

改为

<dependency>

再次执行

老顾这里采用方式1

我们在来执行看看,执行成功了

我们发现有2张表有10条数据,按照奇偶数插入了。我们也能看到控制台的输出sql日志;日志中有逻辑sql,和真实的sql。根据奇偶数真实的sql会不一样。

总结

今天老顾介绍了shrading-jdbc的水平分表,核心就是分表的策略配置,以及配置的注意点,相对是比较简单的,后续的文章会介绍分库以及读写分离,谢谢持续关注!!!

猜你喜欢

转载自blog.csdn.net/EnjoyEDU/article/details/109342938
今日推荐