memcache内存管理机制

malloc内存管理机制 早期
salb内存管理机制 现在使用

Memcached的数据存储方式
Memcached的数据存储方式被称为slab(片)其基本方式是:
(a)先把内存分成很多个片,这个大小是预先规定好的(默认1M),以解决内存碎片问题。
    分配给片的内存空间被称为Page(页)。一个Slab下可以有多个Page。
    (如下图:在Memcached实例中先把内存分了n个slab,然后每个slab里面分了n个page)   在这里插入图片描述
(b)然后把一个页分成很多个chunk块,chunk块是用于缓存记录的空间。Chunk的大小是先有一个基本值(默认48字节),然后根据增长因子来增大。
Slab 分配的原理——将分配的内存分割成各种尺寸的块(chunk), 并把尺寸相同的块分成组(chunk的集合),每个chunk集合被称为slab。
在这里插入图片描述
©内存区类别(48byte-1M),每个类别有一个内存区类别
在这里插入图片描述
(d)Memcached里面保存着slab内存空间的chunk列表,当收到要保存的item时,它会根据item的大小去选择一个最适合的slab,然后找到空闲的chunk,把数据存放进去。

Memcached新建Item分配内存过程
第一步: 快速定位slab classid,先计算Item长度
    key键长+flag+suffix(16字节)+value值长+结构大小(32字节),比如计算出来有90byte
    如果Item长度计算出来>1M,则无法存储丢弃
    取最小冗余的slab class进行存储,比如有:48、96、120, 存储90就会选96
第二步:按顺序寻找可用的chunk
    (a) slot : 检查slab回收空间slot里是否有剩余chunk
     delete: delete时标记到slot
     exptime: get时检查的过期对象标记到slot
    (b)end_page_ptr: 检查page中是否有剩余chunk
    ©memory: 内存还有剩余空间可以用于开辟新的slab
    (d)LRU
注:Memcached的数据存储方式的缺点,由于chunk的大小是预先分配好的特定长度,因此如果数据不能完全填满chunk,那么chunk中剩余的空间就浪费了。

Memcached的数据过期方式
  (1)Lazy Expiration(延迟/惰性 过期)
    Memcached不会监控记录是否过期,而是当客户端来获取数据的时候,才会检查记录的时间戳,因此成为Lazy Expiration
  (2)LRU(Least Recently Used 最近最少使用)
    当空间不足的时候,Memcached会优先使用已经过期的数据空间,如果还不够的话,就会使用LRU算法来分配空间,删除最近最少使用的key/value对,将其空间分配给新的key/value对。如果不希望使用LRU算法时,启动时加-M参数,这样memcached内存耗尽时会返回一个报错信息。
    注::要特别注意,Memcached的LRU不是全局的,而是针对slab的,可以说是区域性的
  (3)惰性删除机制
    删除item对象时,不释放内存,作删除标记,指针放入slot回收插槽,下次分配的时候直接使用。

猜你喜欢

转载自blog.csdn.net/bjgaocp/article/details/88536578