Memcached(四)、Memcached原理

前文写了一些memcached的简单示例,以及如何在centos上安装memcached服务器等,本文主要关注memcached的原理。

一、内存存储
默认情况下memcached是通过Slab Allocation机制来分配和管理内存的。Slab Allocation的原理是将内存分配为各种大小的块(chunk),并将尺寸相同的块组成组。



对于100bytes大小的内容如果要存储到memcached中,由于SlabClass1的chunk大小是88,存储不下,memcached会选择一个能存储下,并且最接近的chunk来存储,也就是图中chunk大小是112bytes的Slab Class2,虽然Slab Allocation机制是为了减少了内存碎片而产生的,但是仍然有12bytes大小的碎片产生。
为了减少碎片的产生,只能通过Growth Factor来根据具体的应用来调整chunk大小的增长速度来进行调优,该值默认是1.25。


二、分布式算法

首先分布式算法是由客户端决定的,而不是服务器,即如果有3个memcached服务器节点,要将某个key存放到哪台服务器节点中,是由客户端程序来计算出来的,而不是服务器。




memcached获取的时候,由客户端程序选择set时相同的服务器节点来获取数据。

分布式算法最简单的方式是取余数的方法,例如有3台服务器(node1,node2,node3,node4),
那么1、2、3、4、5这5个key,存放的服务器节点分别为:
1、5:node1
2、6:node2
3、7:node3
4:node4
一般情况下这都没问题,但是如果此时增加了一台服务器(node5),那么获取的时候根据取余数的方法计算,则key=5到node5中获取,key=6到node1中获取,这样有大量的数据将失效,同样其中一台服务器down机的话,也会出现同样的问题。

一致性哈希算法是为了解决这个问题而出现的。




首先计算出服务器节点的hash值,将其分配到0-2^32的圆上,然后将要存放的数据也映射到圆上,然后顺时针查找,查找到的第一个服务器即是对应的服务器。

如果此时增加了一个节点,如下图所示,仅会影响一小部分数据,其余的均不受影响。





三、数据过期处理
memcached没有内部监控记录何时过期,而是在get的时候来判断是否过期,这称为lazy Expiration,这样不需要开启一个线程不停的扫描,节省了CPU资源。ehcache也是通过这种方式来处理数据过期问题的。

猜你喜欢

转载自frank1234.iteye.com/blog/2217486