分库表在电商系统中的应用

背景

我们为什么要进行分库分表？

在电商系统中，当一张表的数据达到几千万时，查询一次所花的时间会变长。这时候，如果有联合查询的话，可能会卡死在那儿，甚至把系统给拖垮。而分库分表的目的就在于此：减小数据库的负担，提高数据库的效率，缩短查询时间。权衡过多个框架的利弊后，我们最终选择使用Sharding-JDBC来进行分库分表。

Sharding-JDBC简介

Sharding-jdbc定位为轻量级Java框架，在Java的JDBC层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。

适用于任何基于JDBC的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。

支持任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。

支持任意实现JDBC规范的数据库。目前支持MySQL，Oracle，SQLServer，PostgreSQL以及任何遵循SQL92标准的数据。

从官网的架构图中，可以看出我们只需要将Sharding-JDBC引入到项目中就好了。

Sharding-JDBC的使用

接下来，以b2b2c电商系统Javashop为例，具体说明sharding jdbc的应用：

一、分库分表的准备

在修改配置文件之前，我们应该想好我们的分片策略，包括：

1、要用几个数据库来分片

2、相应的表要分几张表

在本次分库分表中，以es_order表为例，将原始数据库javashop拆分为javashop0，javashop1两个数据库。将原始es_order表拆分为es_order0，es_order1两张表。

表中分片字段如下：

CREATE TABLE `es_order0` (  `order_id` bigint(20) NOT NULL COMMENT '主键ID',  `trade_sn` varchar(20) DEFAULT NULL COMMENT '交易编号',  其他字段略)

CREATE TABLE `es_order1` (  `order_id` bigint(20) NOT NULL COMMENT '主键ID',  `trade_sn` varchar(20) DEFAULT NULL COMMENT '交易编号',  其他字段略)

二、引入maven依赖

<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
    <version>4.1.0</version>
</dependency>

三、配置分片策略

定义数据库的分片策略application.yaml:

spring:
  profiles:
  include: order
  #分库分表配置
  shardingsphere:
   #配置sql是否显示输出，调试用，生产环境需关闭
    props:
      sql:
        show: true
    sharding:
     #定义默认数据源为：ds0
      default-data-source-name: ds0
    #定义分库的数据源        
    datasource:
     #这里配置所有数据源的名字
      names: ds0,ds1
      ds0:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://ip:3306/default_database?useUnicode=true&characterEncoding=utf8&autoReconnect=true
        username: root
        password: 123456
       ds1:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.2.110:3306/javashop02?useUnicode=true&characterEncoding=utf8&autoReconnect=true
        username: root
        password: 123456

定义表分片策略修改application-order.yml：

spring:
  #分库分表配置
  shardingsphere:
    sharding:
      tables:
        #交易表(用trade sn 分库，用trade_id分表) 
        es_trade:
          actual-data-nodes: ds$->{0..1}.es_trade$->{0..1}
          database-strategy:
            inline:
              sharding-column: trade_sn
              algorithm-expression: ds$->{ new Long(trade_sn) % 2}
          table-strategy:
            inline:
              sharding-column: trade_id
              algorithm-expression: es_trade$->{trade_id % 2}

通过上述方式我们分别将商品，会员，订单进行了分库分表。

问题与解决方案

如果您以为就是这么简单就完成了那么就大错特错了。我们遇到的问题如下：

主键自增问题

因为当使用分库分表等功能之后，就不能再依赖数据库自带的主键生成机制了，一方面主键ID不能重复，另外需要在新增之前就知道主键ID，才能保证ID能够均匀分布到不同的数据库或数据表中，所以要使用一个合理的主键生成策略。

我们的解决方案就是在做insert语句的时候，使用snowflake发号器生成主键。snowflake 是常见的id(编号)生成算法，由时间戳+业务id+机器id+序列号组合而成，在电商系统中，用于订单号的生成、支付单号的生成等等。本发号器主要解决在容器化的部署情况时，自动扩容时保持机器id的唯一性。关于snowflake详细说明请看《java 商城系统源码分享-snowflake发号器》的文章

统一封装的insert方法如下：

public void insert(String table, Object po) {
   Long id = snCreator.create(getSubCode(table));
   //设置刚刚主键值到 thread local
   lastIdThreadLocal.set(id);
   Map poMap = new HashedMap();
   ColumnMeta columnMeta = ReflectionUtil.getColumnMeta(po);
   poMap.put(columnMeta.getPrimaryKeyName(), id);
   //这里就是将插入的时候使用雪花发号器作为主键，您们可以根据自己的业务进行修改。
   如下略：
   }

使用snowflake发号器带来的类型问题

因为雪花发号器的类型为Long类型我们在未分库分表之前数据库使用的id类型为int（11），所以我们需要将所有涉及到分库分表id类型类型修改为bigint(20)。当然还有java代码中接收数据的实体类。

使用snowflake号器带来的精度丢失问题

因为js支持数字的最大精度为16位以下，那么我们的雪花发号器的位数为17为。好尴尬啊，后来我们统一将Long类型的数据转为String类型。代码如下：

@Configuration
public class JacksonConfig {
@Bean
public Jackson2ObjectMapperBuilderCustomizer customJackson() {
return new Jackson2ObjectMapperBuilderCustomizer() {
    @Override
public void customize(Jackson2ObjectMapperBuilder jacksonObjectMapperBuilder) {
//定义Long型的Json 值转换，转换为String型
//为了适配javascript 不支持Long型的精度
               jacksonObjectMapperBuilder.serializerByType(Long.class,new JsonSerializer(){
@Override
public void serialize(Object value, JsonGenerator gen, SerializerProvider serializers) throws IOException {
    gen.writeString(String.valueOf(value));
                    }
                });
            }

        };
    }

}

使用相同字段进行分库分表的问题

相同字段进行分库分表，就是我们用主键id进行分库，然后再用主键id进行分表。如果我插入100条订单数据的话，那么javashop0数据库中es_order0表有50条id为奇数的数据es_order1表中的数据为0条。javashop1数据库中的es_order0表0条数据es_order1表中50条数据。这显然不是我们所希望看到的。所以我们在分库的时候使用与2取模的形式分库，分表的时候我们将id右移2位在此进行与2取模。那么得到的结果才是我们想要的。具体配置如下：

spring:
  #分库分表配置
  shardingsphere:
    sharding:
      tables:
        #商品表(用member_id分库，用member_id分表)
        es_member:
          actual-data-nodes: ds$->{0..1}.es_member$->{0..1}
          database-strategy:
            inline:
              sharding-column: member_id
              algorithm-expression: ds$->{member_id% 2}
          table-strategy:
            inline:
              sharding-column: member_id
              #因为都是使用同一个字段进行分库分表的，
              #所以要右移两位之后取模以保证每个表中的数据平均
              algorithm-expression: es_member$->{(member_id>>2)% 2}

Sharding-jdbc不支持的sql

官网提供不支持的sql如下：

sql语句

原因

INSERT INTO tbl_name (col1, col2, …) VALUES(1+2, ?, …)

VALUES语句不支持运算表达式

INSERT INTO tbl_name (col1, col2, …) SELECT col1, col2, … FROM tbl_name WHERE col3 = ?

INSERT .. SELECT

SELECT COUNT(col1) as count_alias FROM tbl_name GROUP BY col1 HAVING count_alias > ?

HAVING

SELECT * FROM tbl_name1 UNION SELECT * FROM tbl_name2

UNION

SELECT * FROM tbl_name1 UNION ALL SELECT * FROM tbl_name2

UNION ALL

SELECT * FROM ds.tbl_name1

包含schema

SELECT SUM(DISTINCT col1), SUM(col1) FROM tbl_name

详见DISTINCT支持情况详细说明

SELECT * FROM tbl_name WHERE to_date(create_time, ‘yyyy-mm-dd’) = ?

会导致全路由

SELECT SUM(DISTINCT col1), SUM(col1) FROM tbl_name

同时使用普通聚合函数和DISTINCT聚合函数

这个问题的话我们的解决方案是优化我们的sql，将这些不支持的sql语句使用其他的逻辑实现在这里就不一一阐述了。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　易族智汇（javashop）原创文章