分库分表要解决的问题之UUID生成策略

版权声明:知识本无差别,何必在意你我? https://blog.csdn.net/qq_33774822/article/details/83539529

目录

背景

UUID的几个生成策略

使用全局表:每次新增的时候从全局表中取

使用Redis:将UUID信息存放在Redis中,每次从Redis中取

Twitter的snowflake:纯Java代码,ID生成器


背景

要实现分库分表,要解决的一个问题就是uuid的唯一性。比如我现在讲用户表分成了三个库来存放,每个库里面都有一个用户表。

如果在没有分库之前,uuid可以通过mysql数据库层面来生成,可以保证uuid是不重复的。但是现在分为了三个库,mysql可以实现每个库里面的数据不重复的,但是不能保证库与库之间的uuid是不重复的。

这就要我们手动指定uuid,而且要保证不同库之间的uuuid不能重复。

UUID的几个生成策略

使用全局表:每次新增的时候从全局表中取

在数据库中维护一个全局表,用于新增的时候取uuid用。用完将nextid加1,更新到数据库中,以备下次使用。

结构如下图所示:

当然缺点很明显,所有插入都要访问该表,该表很容易造成系统性能瓶颈。还有一个是存在单点问题,一旦该表数据库失效,整个应用将无法工作。

使用Redis:将UUID信息存放在Redis中,每次从Redis中取

刚才存在数据库中的全局表拥有的缺点,可以用redis来解决。redis缓存不容易造成瓶颈,速度也很快。

Twitter的snowflake:纯Java代码,ID生成器

本来我以为这就终点了,但是发现了第三种方法,简单高效的ID生成器。

snowflake算法是一款本地生成的(ID生成过程中不依赖任何中间,无网络通信),保证ID全局唯一,并且ID总体有序递增,性能每秒生成300w+。

public class SnowFlake {
    // 起始的时间戳
    private final static long START_STMP = 1480166465631L;
    // 每一部分占用的位数,就三个
    private final static long SEQUENCE_BIT = 12;// 序列号占用的位数
    private final static long MACHINE_BIT = 5; // 机器标识占用的位数
    private final static long DATACENTER_BIT = 5;// 数据中心占用的位数
    // 每一部分最大值
    private final static long MAX_DATACENTER_NUM = -1L ^ (-1L << DATACENTER_BIT);
    private final static long MAX_MACHINE_NUM = -1L ^ (-1L << MACHINE_BIT);
    private final static long MAX_SEQUENCE = -1L ^ (-1L << SEQUENCE_BIT);
    // 每一部分向左的位移
    private final static long MACHINE_LEFT = SEQUENCE_BIT;
    private final static long DATACENTER_LEFT = SEQUENCE_BIT + MACHINE_BIT;
    private final static long TIMESTMP_LEFT = DATACENTER_LEFT + DATACENTER_BIT;
    private long datacenterId; // 数据中心
    private long machineId; // 机器标识
    private long sequence = 0L; // 序列号
    private long lastStmp = -1L;// 上一次时间戳

    public SnowFlake(long datacenterId, long machineId) {
        if (datacenterId > MAX_DATACENTER_NUM || datacenterId < 0) {
            throw new IllegalArgumentException("datacenterId can't be greater than MAX_DATACENTER_NUM or less than 0");
        }
        if (machineId > MAX_MACHINE_NUM || machineId < 0) {
            throw new IllegalArgumentException("machineId can't be greater than MAX_MACHINE_NUM or less than 0");
        }
        this.datacenterId = datacenterId;
        this.machineId = machineId;
    }
    //产生下一个ID
    public synchronized long nextId() {
        long currStmp = getNewstmp();
        if (currStmp < lastStmp) {
            throw new RuntimeException("Clock moved backwards.  Refusing to generate id");
        }

        if (currStmp == lastStmp) {
            //if条件里表示当前调用和上一次调用落在了相同毫秒内,只能通过第三部分,序列号自增来判断为唯一,所以+1.
            sequence = (sequence + 1) & MAX_SEQUENCE;
            //同一毫秒的序列数已经达到最大,只能等待下一个毫秒
            if (sequence == 0L) {
                currStmp = getNextMill();
            }
        } else {
            //不同毫秒内,序列号置为0
            //执行到这个分支的前提是currTimestamp > lastTimestamp,说明本次调用跟上次调用对比,已经不再同一个毫秒内了,这个时候序号可以重新回置0了。
            sequence = 0L;
        }

        lastStmp = currStmp;
         //就是用相对毫秒数、机器ID和自增序号拼接
        return (currStmp - START_STMP) << TIMESTMP_LEFT //时间戳部分
                | datacenterId << DATACENTER_LEFT      //数据中心部分
                | machineId << MACHINE_LEFT            //机器标识部分
                | sequence;                            //序列号部分
    }

    private long getNextMill() {
        long mill = getNewstmp();
        while (mill <= lastStmp) {
            mill = getNewstmp();
        }
        return mill;
    }

    private long getNewstmp() {
        return System.currentTimeMillis();
    }

}
public class Test {

    public static void main(String[] args) {
        // 构造方法设置机器码:第9个机房的第20台机器
        SnowFlake  snowFlake = new SnowFlake(9, 20);
        for(int i =0; i <(1<< 12); i++){
            System.out.println(snowFlake.nextId());
        }
    }

}

算法原理:

snowflake生成的ID是一位18位的long型数据,二进制结构表示如下(每部分用-分开):

0 - 00000000 00000000 00000000 00000000 00000000 0 - 00000 - 00000 - 00000000 0000

第一位未使用,接下来的41位为毫秒级时间(41位的长度可以使用69年,从1970-01-01 08:00:00),然后是5位datacenterId(最大支持2^5=32个,二进制表示从00000-11111,也即是十进制0-31),和5位workerId(最大支持2^5=32个,原理同datacenterId),所以datacenterId*workerId最多支持部署1024个节点,最后12位是毫秒内的计数(12位的计数顺序号支持每个节点每毫秒产生2^12=4096个ID序号).

所有位数加起来共64位,恰好是一个Long型(转换为字符串长度为18).

单台机器实例,通过时间戳保证前41位是唯一的,分布式系统多台机器实例下,通过对每个机器实例分配不同的datacenterId和workerId避免中间的10位碰撞。最后12位每毫秒从0递增生产ID,再提一次:每毫秒最多生成4096个ID,每秒可达4096000个。理论上,只要CPU计算能力足够,单机每秒可生产400多万个,实测300w+,效率之高由此可见。

猜你喜欢

转载自blog.csdn.net/qq_33774822/article/details/83539529