Redis的内存

内存使用统计

127.0.0.1:6379> INFO memory

# Memory

used_memory:87057136

used_memory_human:83.02M

used_memory_rss:22122496

used_memory_rss_human:21.10M

used_memory_peak:87057136

used_memory_peak_human:83.02M

total_system_memory:1027096576

total_system_memory_human:979.52M

used_memory_lua:37888

used_memory_lua_human:37.00K

maxmemory:134217728

maxmemory_human:128.00M

maxmemory_policy:allkeys-lru

mem_fragmentation_ratio:0.25

mem_allocator:jemalloc-4.0.3


重点关注:

used_memory,Redis内部存储数据的内存占用量。

used_memory_rss,从操作系统角度看,Redis占用的物理内存总量。

used_memory_rss-used_memory,多出来的内存被碎片消耗。



Redis内存消耗主要包括:缓冲内存,子进程,Redis进程自身,存储数据对象和内存碎片,主要看前两者。


缓冲内存


1.客户端缓冲

指所有接入到Redis服务器的TCP连接的输入输出缓冲。


输入缓冲无法控制,最大空间1G,若超过,将断开连接。


输出缓冲有3类:普通客户端,从客户端和订阅客户端,大小通过参数client-output-buffer-limit控制。一般普通客户端内存消耗可以忽略不计,但当有大量慢连接客户端接入时,就要关注这部分内存了。


client-output-buffer-limit normal 0 0 0

client-output-buffer-limit slave 256mb 64mb 60

client-output-buffer-limit pubsub 32mb 8mb 60


2.复制积压缓冲

#define CONFIG_DEFAULT_REPL_BACKLOG_SIZE (1024*1024) /* 1mb */


对于主节点只有一个复制积压缓冲区,所有从节点共享该缓冲区,默认1MB,可设置较大的缓冲区(repl-backlog-size),有效避免全量复制。


3.AOF缓冲

sds aof_buf; /* AOF buffer, written before entering the event loop */

list *aof_rewrite_buf_blocks; /* Hold changes during an AOF rewrite. */


开启AOF时,命令会先append进入aof_buf缓冲区中,在aof_buf缓冲区中根据appendfsync指定的策略刷新到磁盘。


当触发AOF重写时,主进程fork操作后,依然响应命令,Redis使用aof_rewrite_buf_blocks缓冲区保存这部分新数据,防止新AOF文件生成期间丢失这部分数据。


4.子进程内存消耗

子进程内存消耗主要是指在RDB快照/AOF重写时,Redis创建子进程消耗的内存。为了保证该过程顺畅,注意两点。

a.关闭Linux内核的Transparent Huge Pages机制(echo never > /sys/kernel/mm/transparent_hugepage/enabled),防止copy-on-write期间内存过度消耗。

b.设置vm.overcommit_memory=1,允许内核可以分配所有的物理内存,防止Redis进行fork时内存不足而失败。



内存管理

Redis是通过控制内存上限,和回收策略实现内存管理的。


1.设置内存上限(maxmemory <bytes>)

使用maxmemory参数限制最大可用内存,其限制的是Redis实际使用的内存量,即used_memory统计项值。由于内存碎片,实际消耗的内存可能比maxmemory设置的大,使用时要小心这部分内存溢出。 另可通过CONFIG SET maxmemory <bytes>动态调整内存上限。


2.内存回收策略,体现在,删除达到过期时间的键对象,和内存使用达到maxmemory上限触发内存溢出控制策略。


2.1删除到达过期时间的键对象


a.被动方式

当用户读取带有超时属性的键时,若已超过键设置的超时时间,会执行删除操作并返回空。当过期键一直没有被访问时,会由主动方式将其删除。


b.主动方式

Redis会定期进行下面的操作(通过hz设置频率)。


1.定期随机对20个键进行过期检测。

2.删除过期的键。

3.如果多于25%的键过期,重复步骤1。


2.2内存溢出控制策略

当Redis使用内存达到maxmemory上限时会触发溢出控制策略,共有6种策略,由参数maxmemory-policy控制。


volatile-lru -> remove the key with an expire set using an LRU algorithm

allkeys-lru -> remove any key according to the LRU algorithm

volatile-random -> remove a random key with an expire set

allkeys-random -> remove a random key, any key

volatile-ttl -> remove the key with the nearest expire time (minor TTL)

noeviction -> don't expire at all, just return an error on write operations


对于Redis用于缓存业务,一般使用allkeys-lru策略;用于存储业务,使用noeviction策略。


若感兴趣可关注订阅号”数据库最佳实践”(DBBestPractice).

qrcode_for_gh_54ffa7e55478_258.jpg

猜你喜欢

转载自blog.51cto.com/coveringindex/2147854