1、键的生存周期和删除
通过EXPIRE命令，客户端可以以秒或者毫秒的精度为数据库的某个键设置生存周期，经过指定的秒或者毫秒之后，服务器就会自动删除生存周期为0的键。redisDb结构的expires字典保存了数据库中所有键的过期时间，我们称这个字典为过期字典。
typedef struct redisDb {
// 过期字典，保存者键的过期时间
dict *expires;
} redisDb;redis过期键的删除策略主要有三种，分别是：
- 定时删除：设置键的过期时间的同时，创建一个定时器，让定时器在键的过期时间来临时，立即执行对键的删除操作。定时删除对CPU不友好。
- 惰性删除：放任过期键不管，但是每次从键空间获取键时，都检查键是否过期，过期则删除，否则则返回。惰性删除对内存不友好。
- 定期删除：每隔一段时间，程序对数据库进行一次检查，删除里面的过期键。至于删除多少过期键，检查多少数据库，由算法决定。定期删除是定时删除和惰性删除的折中。
2、内存淘汰策略
Redis的所占用的最大内存可以在配置文件的maxmemory中设置，而Redis的内存淘汰策略则可以通过maxmemory-policy和maxmemory-samples来设置。当redis所占的内存大于配置文件所设置的内存时，redis需要从所有键中选择一个键进行淘汰。Redis有5种内存淘汰策略，分别是：
/* Redis maxmemory strategies */
#define REDIS_MAXMEMORY_VOLATILE_LRU 0
#define REDIS_MAXMEMORY_VOLATILE_TTL 1
#define REDIS_MAXMEMORY_VOLATILE_RANDOM 2
#define REDIS_MAXMEMORY_ALLKEYS_LRU 3
#define REDIS_MAXMEMORY_ALLKEYS_RANDOM 4
#define REDIS_MAXMEMORY_NO_EVICTION 5
#define REDIS_DEFAULT_MAXMEMORY_POLICY REDIS_MAXMEMORY_NO_EVICTION- volatile-lru: 只限于设置了 expire 的部分; 优先删除最近最少使用(less recently used ,LRU) 的 key，对应宏定义REDIS_MAXMEMORY_VOLATILE_LRU
- volatile-ttl: 只限于设置了 expire 的部分; 优先删除剩余时间(time to live,TTL) 短的key。对应宏定义REDIS_MAXMEMORY_VOLATILE_TTL
- volatile-random: 只限于设置了 expire 的部分; 随机删除一部分 key。对应宏定义REDIS_MAXMEMORY_VOLATILE_RANDOM
- allkeys-lru: 所有key通用，优先删除最近最少使用(less recently used ,LRU) 的 key。对应宏定义REDIS_MAXMEMORY_ALLKEYS_LRU
- allkeys-random: 所有key通用; 随机删除一部分 key。对应宏定义REDIS_MAXMEMORY_ALLKEYS_RANDOM
- noeviction: 不删除策略, 达到最大内存限制时, 如果需要更多内存, 直接返回错误信息，这是默认的淘汰策略。对应宏定义REDIS_MAXMEMORY_NO_EVICTION
注意：对于LRU淘汰策略，redis中并不会准确的删除所有键中最近最少使用的键，而是随机抽取maxmeory-samples个键，删除这些键中空转时间最大的键。此外，Redis还使用了一个缓冲池来保存历次淘汰时那些空转时长最大的键，进行新一轮淘汰时，会将这随机选择的maxmeory-samples个键和缓冲池中的键进行比较，然后选出空转时长最大的那个。采用缓冲池策略，把一个全局排序问题转化成为了局部的比较问题。缓冲池大小由宏REDIS_EVICTION_POOL_SIZE定义，大小为16。
3、内存淘汰的代码实现
主要由freeMemoryIfNeeded函数实现内存淘汰，每次执行客户端的命令时都会调用这个函数。
3.1 计算出 Redis 目前占用的内存总数
有两个方面的内存不会计算在内，分别是：
- 所有从服务器的输出缓冲区的内存
- AOF 缓冲区的内存
int freeMemoryIfNeeded(void) {
size_t mem_used, mem_tofree, mem_freed;
int slaves = listLength(server.slaves);
/* Remove the size of slaves output buffers and AOF buffer from the
* count of used memory. */
mem_used = zmalloc_used_memory();
if (slaves) {
listIter li;
listNode *ln;
listRewind(server.slaves,&li);
while((ln = listNext(&li))) {
redisClient *slave = listNodeValue(ln);
unsigned long obuf_bytes = getClientOutputBufferMemoryUsage(slave);
if (obuf_bytes > mem_used)
mem_used = 0;
else
mem_used -= obuf_bytes;
}
}
if (server.aof_state != REDIS_AOF_OFF) {
mem_used -= sdslen(server.aof_buf);
mem_used -= aofRewriteBufferSize();
}
......
}3.2 计算要释放多少内存
int freeMemoryIfNeeded(void) {
... ...
// 如果目前使用的内存大小比设置的 maxmemory 要小，那么无须执行进一步操作
if (mem_used <= server.maxmemory) return REDIS_OK;
// 如果占用内存比 maxmemory 要大，但是 maxmemory 策略为不淘汰，那么直接返回
if (server.maxmemory_policy == REDIS_MAXMEMORY_NO_EVICTION)
return REDIS_ERR; /* We need to free memory, but policy forbids. */
/* Compute how much memory we need to free. */
// 计算需要释放多少字节的内存
mem_tofree = mem_used - server.maxmemory;
// 初始化已释放内存的字节数为 0
mem_freed = 0;
... ...
}3.3 根据策略，遍历字典，释放内存
int freeMemoryIfNeeded(void) {
... ...
while (mem_freed < mem_tofree) {
int j, k, keys_freed = 0;
// 遍历所有字典
for (j = 0; j < server.dbnum; j++) {
long bestval = 0; /* just to prevent warning */
sds bestkey = NULL;
dictEntry *de;
redisDb *db = server.db+j;
dict *dict;
/* 如果策略是 allkeys-lru或allkeys-random, 淘汰的目标为所有数据库键 */
if (server.maxmemory_policy == REDIS_MAXMEMORY_ALLKEYS_LRU ||
server.maxmemory_policy == REDIS_MAXMEMORY_ALLKEYS_RANDOM)
{
dict = server.db[j].dict;
}
/* 如果策略是 volatile-lru、volatile-random或volatile-ttl，那么淘汰的目标为带过期时间的数据库键 */
else
{
dict = server.db[j].expires;
}
// 跳过空字典
if (dictSize(dict) == 0) continue;
/* 如果使用的是随机策略，那么从目标字典中随机选出键 */
if (server.maxmemory_policy == REDIS_MAXMEMORY_ALLKEYS_RANDOM ||
server.maxmemory_policy == REDIS_MAXMEMORY_VOLATILE_RANDOM)
{
de = dictGetRandomKey(dict);
bestkey = dictGetKey(de);
}
/* 如果使用的是 LRU 策略，那么从一集sample键中选出 IDLE 时间最长的那个键 */
else if (server.maxmemory_policy == REDIS_MAXMEMORY_ALLKEYS_LRU ||
server.maxmemory_policy == REDIS_MAXMEMORY_VOLATILE_LRU)
{
struct evictionPoolEntry *pool = db->eviction_pool;
while(bestkey == NULL) {
evictionPoolPopulate(dict, db->dict, db->eviction_pool);
/* Go backward from best to worst element to evict. */
for (k = REDIS_EVICTION_POOL_SIZE-1; k >= 0; k--) {
if (pool[k].key == NULL) continue;
de = dictFind(dict,pool[k].key);
/* Remove the entry from the pool. */
sdsfree(pool[k].key);
/* Shift all elements on its right to left. */
memmove(pool+k,pool+k+1,
sizeof(pool[0])*(REDIS_EVICTION_POOL_SIZE-k-1));
/* Clear the element on the right which is empty
* since we shifted one position to the left. */
pool[REDIS_EVICTION_POOL_SIZE-1].key = NULL;
pool[REDIS_EVICTION_POOL_SIZE-1].idle = 0;
/* If the key exists, is our pick. Otherwise it is
* a ghost and we need to try the next element. */
if (de) {
bestkey = dictGetKey(de);
break;
} else {
/* Ghost... */
continue;
}
}
}
}
/* 策略为 volatile-ttl ，从一集 sample 键中选出过期时间距离当前时间最接近的键 */
else if (server.maxmemory_policy == REDIS_MAXMEMORY_VOLATILE_TTL) {
for (k = 0; k < server.maxmemory_samples; k++) {
sds thiskey;
long thisval;
de = dictGetRandomKey(dict);
thiskey = dictGetKey(de);
thisval = (long) dictGetVal(de);
/* Expire sooner (minor expire unix timestamp) is better
* candidate for deletion */
if (bestkey == NULL || thisval < bestval) {
bestkey = thiskey;
bestval = thisval;
}
}
}
/* 删除被选中的键 */
if (bestkey) {
long long delta;
robj *keyobj = createStringObject(bestkey,sdslen(bestkey));
propagateExpire(db,keyobj);
/* We compute the amount of memory freed by dbDelete() alone.
* It is possible that actually the memory needed to propagate
* the DEL in AOF and replication link is greater than the one
* we are freeing removing the key, but we can't account for
* that otherwise we would never exit the loop.
*
* AOF and Output buffer memory will be freed eventually so
* we only care about memory used by the key space. */
/* 计算删除键所释放的内存数量 */
delta = (long long) zmalloc_used_memory();
dbDelete(db,keyobj);
delta -= (long long) zmalloc_used_memory();
mem_freed += delta;
/* 对淘汰键的计数器增一 */
server.stat_evictedkeys++;
notifyKeyspaceEvent(REDIS_NOTIFY_EVICTED, "evicted",
keyobj, db->id);
decrRefCount(keyobj);
keys_freed++;
/* When the memory to free starts to be big enough, we may
* start spending so much time here that is impossible to
* deliver data to the slaves fast enough, so we force the
* transmission here inside the loop. */
if (slaves) flushSlavesOutputBuffers();
}
}
if (!keys_freed) return REDIS_ERR; /* nothing to free... */
}
return REDIS_OK;
}