《Redis 核心技术与实战》课程学习笔记(八)

String 类型为什么不好用了?

  • String 类型可以保存二进制字节流,只要把数据转成二进制字节数组,就可以保存了。
  • String 类型并不是适用于所有场合的,它有一个明显的短板,就是它保存数据时所消耗的内存空间较多。

为什么 String 类型内存开销大?

  • 除了记录实际数据,String 类型还需要额外的内存空间记录数据长度、空间使用等信息,这些信息也叫作元数据。
    • 当实际保存的数据较小时,元数据的空间开销就显得比较大了。
    • 当你保存 64 位有符号整数时,String 类型会把它保存为一个 8 字节的 Long 类型整数,这种保存方式通常也叫作 int 编码方式。
    • 当你保存的数据中包含字符时,String 类型就会用简单动态字符串(Simple Dynamic String,SDS)结构体来保存。
      • buf:字节数组,保存实际数据。为了表示字节数组的结束,Redis 会自动在数组最后加⼀个“\0”,这就会额外占用 1 个字节的开销。
      • len:占 4 个字节,表示 buf 的已用长度。
      • alloc:也占个 4 字节,表示 buf 的实际分配长度,一般大于 len。
  • 对于 String 类型来说,除了 SDS 的额外开销,还有一个来自于 RedisObject 结构体的开销。
    • Redis 的数据类型有很多,而且,不同数据类型都有些相同的元数据要记录(比如最后一次访问的时间、被引用的次数等)。
    • Redis 会用一个 RedisObject 结构体来统一记录这些元数据,同时指向实际数据。
    • 一个 RedisObject 包含了 8 字节的元数据和一个 8 字节指针,这个指针再进一步指向具体数据类型的实际数据所在,例如指向 String 类型的 SDS 结构所在的内存地址。
  • Redis 会使用一个全局哈希表保存所有键值对,哈希表的每一项是一个 dictEntry 的结构体,用来指向一个键值对。
    • dictEntry 结构中有三个 8 字节的指针,分别指向 key、value 以及下一个 dictEntry,三个指针共 24 字节。
    • Redis 使用的内存分配库 jemalloc 在分配内存时,会根据我们申请的字节数 N,找一个比 N 大,但是最接近 N 的 2 的幂次数作为分配的空间,这样可以减少频繁分配的次数。

用什么数据结构可以节省内存?

  • Redis 有一种底层数据结构,叫压缩列表(ziplist),这是一种非常节省内存的结构。
    在这里插入图片描述

    • 表头有三个字段 zlbytes、zltail 和 zllen,分别表示列表长度、列表尾的偏移量,以及列表中的 entry 个数。
    • 压缩列表尾还有一个 zlend,表示列表结束。
    • 压缩列表之所以能节省内存,就在于它是用一系列连续的 entry 保存数据。
      • prev_len
        • 表示前一个 entry 的长度。
        • prev_len 有两种取值情况:1 字节或 5 字节。
        • 当上一个 entry 长度小于 254 字节时,prev_len 取值为 1 字节,否则,就取值为 5 字节。
      • len
        • 表示自身长度,4 字节;
      • encoding
        • 表示编码方式,1 字节;
      • content
        • 保存实际数据。
    • 这些 entry 会挨个儿放置在内存中,不需要再用额外的指针进行连接,这样就可以节省指针所占用的空间。
  • Redis 基于压缩列表实现了 List、Hash 和 Sorted Set 这样的集合类型,这样做的最大好处就是节省了 dictEntry 的开销。

    • 当你用 String 类型时,一个键值对就有一个 dictEntry,要用 32 字节空间。
    • 但采用集合类型时,一个 key 就对应一个集合的数据,能保存的数据多了很多,但也只用了一个 dictEntry,这样就节省了内存。

如何用集合类型保存单值的键值对?

  • 在保存单值的键值对时,可以采用基于 Hash 类型的二级编码方法。
    • 这里说的二级编码,就是把一个单值的数据拆分成两部分,前一部分作为 Hash 集合的 key,后一部分作为 Hash 集合的 value。
    • 这样一来,我们就可以把单值数据保存到 Hash 集合中了。
  • 二级编码方法中采用的 ID 长度是有讲究的。
    • Hash 类型设置了用压缩列表保存数据时的两个阈值,一旦超过了阈值,Hash 类型就会用哈希表来保存数据了。
    • hash-max-ziplist-entries:表示用压缩列表保存时哈希集合中的最大元素个数。
    • hash-max-ziplist-value:表示用压缩列表保存时哈希集合中单个元素的最大长度。
    • 为了能充分使用压缩列表的精简内存布局,我们一般要控制保存在 Hash 集合中的元素个数。

猜你喜欢

转载自blog.csdn.net/fangzhan666/article/details/131658124