Redis bigkey学习笔记

一、什么是Redis bigkey

下面两种情况,redis的key我们认为他是bigkey:

  • 字符串类型:在redis中一个字符串最大是512MB,所谓bigkey是指单个value很大,一般超过10KB就认为是bigkey
  • 非字符串类型:哈希、列表、集合、有序集合等集合类型,bigkey主要体现在元素个数太多

二、bigkey的危害

bigkey可以说是redis中的老鼠屎,具体表现在:

2.1、内存空间不均匀

有bigkey的redis节点占用内存多,而其他节点占用内存少,导致集群中不同redis节点的内存空间占用不均匀。

2.2、超时阻塞

由于redis是单线程,如果操作bigkey时间太久,会引起其他客户端操作阻塞。

2.3、网络拥塞

bigkey也意味着每次访问会占用较大的网络流量。例如,一个bigkey是1MB,客户端每秒访问1000次,那么每秒消耗的网络流量时1000MB,对于普通的千兆网卡(按照字节算是128MB/s)的服务器来说简直就是灭顶之灾。如果该Redis服务器是多个应用混步,会影响其他应用。

2.4、过期删除

有个bigkey, 假设他安分守己(只执行最简单的命令,例如hget, lpop, zscore等),但由于他设置了过期时间,当他过期后,就会被删除,如果没有使用Redis 4.0的过期异步删除(lazyfree-lazy-expire yes),就会存在阻塞redis的可能性。

2.5、迁移困难

当需要对bigkey进行迁移(如Redis cluster的迁移slot),是通过migrate命令来完成的。migrate命令实际上时dump + restore + del三个命令组合成原子命令来完成的,如果是bigkey,可能使迁移命令失败,而较慢的migrate命令会阻塞redis。

三、bigkey是怎样产生的

一般来说,bigkey是由于程序员的程序设计不当,或对数据规模预料不清楚造成的:
1、社交类:粉丝列表,如果某些明显或大V,一定是bigkey
2、统计类:如果按天存储某项功能或网站的用户集合,除非没几个人用,否则必定是bigkey
3、缓存类:作为数据库数据的冗余存储,这种是redis的最常用场景,但有2点要注意:
1)是不是有必要把所有数据都缓存
2)有没有相关关联的数据
举个例子,该同学把某明星一个专辑下的所有视频信息都缓存成了一个巨大的json,这个json达到了6MB。

四、如何删除bigkey

如果发现了bigkey, 确认是垃圾是不是可以直接del?
1、对于string类型,直接删除是可以的,只要删除速度不太慢。
2、对于集合类型的数据,随着元素个数的增长及每个元素字节数的增大,删除速度会越来越慢,存在阻塞redis的隐患。所以,在删除他们的时候,建议采用渐进式的方式来完成:hscan, ltrim, sscan, zscan。
当然,迁移是bigkey不那么大,即删除时间不那么长(不超过redis客户端的重试时间),才不会影响业务。

如果使用的Redis 4.0及以上版本,异步删除unlink就可以解决。

五、总结

由于开发人员对Redis的理解程度不同,在实际开发中出现bigkey在所难免,重要的是通过合理的检测机制及时找到他们,进行处理。

作为开发人员,在业务开发时不能将redis简单暴力的事宜,应该在数据结构的选择和设计上更加合理。如果出现了bigkey,要思考是否可以做一些诱惑(例如二级索引),尽量让这些key消失在业务中。如果bigkey不可避免,也要思考要不要每次把所有元素都全部取出来(有时仅需要hmget, 而不需要hgetall),删除也是一样,尽量使用优雅的方式。

猜你喜欢

转载自blog.csdn.net/shijinghan1126/article/details/108979820
今日推荐