【redis前传】为什么整数集升级后不能在进行降级操作 | intset位升级频率

redis的整数集是什么?当我们想set集合中添加整数时内部又是什么结构?整数集默认是多少范围?超出了范围的数据是如何存储的?删除最长元素后会不会发生降级的变化? 今天,我们就来对整数集一探究竟

前言

整数集合相信有的同学没有听说过,因为redis对外提供的只有封装的五大对象!而我们本系列主旨是学习redis内部结构。内部结构是redis五大结构重要支撑!

前面我们分别从redis内部结构分析了redis的List、Hash、Zset三种数据结构了。今天我们再来分析set数据结构内部是如何存储的

基本结构

  • 在src/t_set.c中我们发现这样一段代码

image-20210706105819274

  • 由此我们可知在set中是由两种数据结构构成的: hashtable+intset 。我们今天先分析intset俗称整数集合。
    image-20210706110151754

  • 从上图中我们可以看出,我构造了两个set集合分别为【commonset】、【cs】。两个集合前者存储字符串、后者专门存储数字。

  • 我们在通过object encoding key 来查看下两个集合的底层数据结构,发现一个是hashtable 一个是intset 。这也验证了我们上面对set基本结构的描述。

  • 在redis中对外提供五大类型实际上都是redis的一个抽象对象叫做redisobject。在内部映射了我们redis内部的数据结构

image-20210706111432308

  • 针对commonset和cs两个集合在内部数据结构大概可以这么理解

image-20210706112349968

何时使用intset

  • 你可以单纯的认为只要是数字就会使用intset结构来存储,我恐怕要给你当头一棒了。实际上并不是这样

  • 需要同时满足以下两个条件:

image-20210706113636870

image-20210706113647350

intset

image-20210706133736601

  • 图中表示的很清楚了,在intset中的encoding有三种取值分别代表contents保存数据类型。这里有人可能会有疑问了contents的类型不就是int8_t吗?为什么还需要encoding呢?这里通过源码跟踪内部的确跟int8_t没啥关系。而且数据的默认类型就是int16_t 。关于length这里无需太多解释,记住一点表示contents元素的个数并非表示contents数组的长度!
  • 了解intset的同学都知道在encoding三种取值范围中涉及了升级的操作!在讲升级之前我们先来了解下C、C++中int的取值范围是如何定义的
  • int8_t的取值范围是【-128,127】 。 类似于java中byte占1个字节也就是8位。他的取值范围是

−27∼27−1即−128∼127-2^{7} \sim 2^{7}-1 \\ 即 \\ -128 \sim 127−27∼27−1即−128∼127

image-20210706135925132

添加元素

sadd juejin -123
sadd juejin -6
sadd juejin 12
sadd juejin 56
sadd juejin 321 
  • juejin这个key内部就是intset 。

image-20210706162521929

  • 上面我们添加了5个元素且这五个元素的长度都在16之内!所以当前的intset的encoding=INTSET_ENC_INT16。-123在contents中占前16位。

  • 所以当前五个元素占contents的长度是16*5=80 ;

  • 注意set在存储int类型数据时,内部是按照从小到大的顺序存储的。

类型变动

image-20210706164922957

  • 上面的问题不知道你有没有考虑过,或者说有没有遇到过!intset默认是int16位,正如我们上面添加的五个元素。加入此时我们添加第6个元素是65535(32位)。那么此时16位的长度就不够存储了这个时候intset会怎么做!
  • 另外当我们添加第6个元素后又将65535删除了之后,结构和添加之前是否一样!下面我们带着这两个问题来一探究竟!!!

升级

  • 首先我们针对第一问题来看看。原来五个元素都是16位就可以满足了,这个时候添加的65535是32位长度的。那么是不是可以直接追加32位分配给65535呢?
  • 答案是肯定不行,首先直接追加无法保证数组元素的大小顺序!其次如果前五个分别是16位,第6个是32位那么在intset结构中没有多余的字段来进行标记。也就是说在解析的时候就无法判断应该解析16位还是32位了.
  • redis为了方便解析所以在有高长度加入时会将整个contents进行升级。意思就是将整个contents先进行扩容,然后在重新填充数据

image-20210706171505334

加入65535

  • 首先根据length可以确定扩容后元素个数为6 , 每个占位32,所以contents长度为32*6=192 。 此时前80位内容保持不变

image-20210706171605386

旧数据移位

  • 开辟了足够的空间后,我们就可以对旧数据进行移位了这里我们从原数组的末尾开始移动,在移动之前需要明确在新数组中的排序位置。
  • 此时我们首先将321进行比对确定在新数组中他的排名是第五名,那么他将占用新contents中128~159区间。

image-20210706172455270

  • 最终前5 个元素就会被移动好 。

image-20210706172652958

  • 最后将新加入的元素填充进去。当发生升级时肯定是因为新元素的长度大于原有长度了。那么他的值一定会是在新数组的两端。负数在最左侧,正数在最右侧

image-20210706172836896

降级

  • 接下来就是第二个问题当新加入的65535又被删除了redis该怎么办,这个时候元素长度实际16位就可以满足了,但是此时encoding却是32位的。按照我的看法应该在实现降级!
  • 但是遗憾的是redis并没有,那么请思考为什么没有?如果让你实现你将如何实现

为什么不实现降级

  • 当加入元素超过当前长度我们很容易就知道此时需要进行升级操作,但是当我们删除一个数据时我们如何判断是否需要降级却很困难,我们需要重新遍历一遍剩下的元素是否小于当前长度,实现复杂度O(N) 。这就是为什么不进行降级原因之一
  • 你可能会说重新遍历一遍很快的反正在内存中,那么你有没有想过如果降级之后又遇到升级情况,这样来回的升级降级就降低了我们程序的性能了。我们知道升级是必须的所以这里降级redis采取的是忽略的策略

小结

image-20210707135328472

一千道互联网 Java 工程师面试题

内容涵盖:Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、SpringBoot、SpringCloud、RabbitMQ、Kafka、Linux等技术栈(485页)

初级—中级—高级三个级别的大厂面试真题

阿里云——Java 实习生/初级

List 和 Set 的区别 HashSet 是如何保证不重复的

HashMap 是线程安全的吗,为什么不是线程安全的(最好画图说明多线程环境下不安全)?

HashMap 的扩容过程

HashMap 1.7 与 1.8 的 区别,说明 1.8 做了哪些优化,如何优化的?

对象的四种引用

Java 获取反射的三种方法

Java 反射机制

Arrays.sort 和 Collections.sort 实现原理 和区别

Cloneable 接口实现原理

异常分类以及处理机制

wait 和 sleep 的区别

数组在内存中如何分配

答案展示:

美团——Java 中级

BeanFactory 和 ApplicationContext 有什么区别

Spring Bean 的生命周期

Spring IOC 如何实现

说说 Spring AOP

Spring AOP 实现原理

动态代理(cglib 与 JDK)

Spring 事务实现方式

Spring 事务底层原理

如何自定义注解实现功能

Spring MVC 运行流程

Spring MVC 启动流程

Spring 的单例实现原理

Spring 框架中用到了哪些设计模式

为什么选择 Netty

说说业务中,Netty 的使用场景

原生的 NIO 在 JDK 1.7 版本存在 epoll bug

什么是 TCP 粘包/拆包

TCP 粘包/拆包的解决办法

Netty 线程模型

说说 Netty 的零拷贝

Netty 内部执行流程

答案展示:

蚂蚁金服——Java 高级

题 1:

  1. jdk1.7 到 jdk1.8 Map 发生了什么变化(底层)?

  2. ConcurrentHashMap

  3. 并行跟并发有什么区别?

  4. jdk1.7 到 jdk1.8 java 虚拟机发生了什么变化?

  5. 如果叫你自己设计一个中间件,你会如何设计?

  6. 什么是中间件?

  7. ThreadLock 用过没有,说说它的作用?

  8. Hashcode()和 equals()和==区别?

  9. mysql 数据库中,什么情况下设置了索引但无法使用?

  10. mysql 优化会不会,mycat 分库,垂直分库,水平分库?

  11. 分布式事务解决方案?

  12. sql 语句优化会不会,说出你知道的?

  13. mysql 的存储引擎了解过没有?

  14. 红黑树原理?

题 2:

  1. 说说三种分布式锁?

  2. redis 的实现原理?

  3. redis 数据结构,使⽤场景?

  4. redis 集群有哪⼏种?

  5. codis 原理?

  6. 是否熟悉⾦融业务?记账业务?蚂蚁⾦服对这部分有要求。

好啦~展示完毕,大概估摸一下自己是青铜还是王者呢?

前段时间,在和群友聊天时,把今年他们见到的一些不同类别的面试题整理了一番,于是有了以下面试题集,也一起分享给大家~

如果你觉得这些内容对你有帮助,可以加入csdn进阶交流群,领取资料

基础篇


JVM 篇


MySQL 篇



Redis 篇




由于篇幅限制,详解资料太全面,细节内容太多,所以只把部分知识点截图出来粗略的介绍,每个小节点里面都有更细化的内容!

如果你觉得这些内容对你有帮助,可以加入csdn进阶交流群,领取资料

猜你喜欢

转载自blog.csdn.net/Java_cola/article/details/118914332