【Redis】键值设计规范

1.key 设计

【建议】可读性和可管理性。

以业务名(或数据库名)为前缀(防止key冲突),用冒号分隔,比如业务名:表名:id

trade:order:1

【建议】 简洁性。

保证语义的前提下,控制key的长度,当key较多时,内存占用也不容忽视,例如:

user:{uid}:friends:messages:{mid} 简化为 u:{uid}:fr:m:{mid}

【强制】不要包含特殊字符。

反例:包含空格、换行、单双引号以及其他转义字符

2.value 设计

【建议】选择适合的数据类型。

例如:实体类型(要合理控制和使用数据结构,但也要注意节省内存和性能之间的平衡) 。

反例:

set user:1:name tom
set user:1:age 19 
set user:1:favor football 

正例:

hmset user:1 name tom age 19 favor football

【建议】控制key的生命周期,redis不是垃圾桶。

建议使用expire设置过期时间(条件允许可以打散过期时间,防止集中过期)。

【强制】拒绝 bigkey。(防止网卡流量、慢查询)

关于 bigKey

问题一:Redis 的 bigkey 具体指什么?

在Redis中,一个字符串大512MB,一个二级数据结构(例如hash、list、set、zset)可以存储大约40亿个(2^32-1)个元素,但实际中如果下面两种情况,一般就会认为它是bigkey:

  • 字符串类型:它的big体现在单个value值很大,一般认为超过10KB就是bigkey
  • 非字符串类型:哈希、列表、集合、有序集合,它们的big体现在元素个数太多。

一般来说,string类型控制在10KB以内,hash、list、set、zset元素个数不要超过5000。 反例:一个包含200万个元素的list。

问题二:bigkey 有什么危害?

导致redis阻塞(过期删除)。有个bigkey,它安分守己(只执行简单的命令,例如hget、lpop、zscore等),但它设置了过期时间,当它过期后,会被删除,如果没有使用Redis 4.0的过期异步删除(lazyfree-lazyexpire yes),就会存在阻塞Redis的可能性。

网络拥塞。bigkey也就意味着每次获取要产生的网络流量较大,假设一个bigkey为1MB,客户端每秒访问量为1000,那么每秒产生1000MB的流量,对于普通的千兆网卡(按照字节算是128MB/s)的服务器来说简直是灭顶之灾,而且一般服务器会采用单机多实例的方式来部署,也就是说一个bigkey 可能会对其他实例也造成影响,其后果不堪设想。

问题三:什么情况下会产生 bigkey?

大多数情况下,bigkey的产生都是由于程序设计不当,或者对于数据规模预料不清楚造成的,来看几个例子:

  1. 社交类:粉丝列表,如果某些明星或者大v不精心设计下,必是bigkey。
  2. 统计类:例如按天存储某项功能或者网站的用户集合,除非没几个人用,否则必是bigkey。
  3. 缓存类:将数据从数据库load出来序列化放到Redis里,这个方式非常常用,但有两个地方需要注意:
    1. 第一,是不是有必要把所有字段都缓存
    2. 第二,有没有相关关联的数据,有的同学为了图方便把相关数据都存一个key下,产生bigkey

问题四:如果出现了 bigkey,那该如何优化?

第一个想法就是拆,看能不能将bigkey缩小:

  • big list: list1、list2、…listN
  • big hash:可以将数据分段存储,比如一个大的key,假设存了1百万的用户数据,可以拆分成 200个key,每个key下面存放5000个用户数据

如果bigkey不可避免,也要思考一下要不要每次把所有元素都取出来(例如有时候仅仅需要 hmget,而不是hgetall),删除也是一样,尽量使用优雅的方式来处理。比如,非字符串的bigkey,不要使用del删除,使用hscan、sscan、zscan方式渐进式删除。

最后,还要注意防止 bigkey 过期时间自动删除问题(例如一个200万的zset设置1小时过期,会触发del操作,造成阻塞)

猜你喜欢

转载自blog.csdn.net/qq_33762302/article/details/114274903
今日推荐