Redis的雪崩、穿透剖析和解决方法

一、缓存雪崩

1.1 缓存雪崩是由于原有缓存失效(过期),新缓存未到期间。所有请求都去查询数据库,而对数据库CPU和内存造成巨大压力,严重的会造成数据库宕机。从而形成一系列连锁反应,造成整个系统崩溃。

因为缓存层承载了大量的请求,有效的保护了存储 层,但是如果缓存由于某些原因,整体不能够提供服务,于是所有的请求,就会到达存储层,存储层的调用量就会暴增,造成存储层也会挂掉的情况。缓存雪崩的英文解释是奔逃的野牛,指的是缓存层当掉之后,并发流量会像奔腾的野牛一样,大量后端存储,雪崩描述的是一连串的负面响应,如下图:

1.2 存在这种问题的一个场景是:当缓存服务器重启或者大量缓存集中在某一个时间段失效,这样在失效的时候,大量数据会去直接访问DB,此时给DB很大的压力。

1.3.解决方法

(1)设置redis集群和DB集群的高可用,如果redis出现宕机情况,可以立即由别的机器顶替上来。这样可以防止一部分的风险。

(2)使用互斥锁

在缓存失效后,通过加锁或者队列来控制读和写数据库的线程数量。比如:对某个key只允许一个线程查询数据和写缓存,其他线程等待。单机的话,可以使用synchronized或者lock来解决,如果是分布式环境,可以是用redis的setnx命令来解决。

(3)不同的key,可以设置不同的过期时间,让缓存失效的时间点不一致,尽量达到平均分布。

(4)永远不过期

redis中设置永久不过期,这样就保证了,不会出现热点问题,也就是物理上不过期。

(5)资源保护

使用netflix的hystrix,可以做各种资源的线程池隔离,从而保护主线程池。

二、缓存穿透

2.1 缓存穿透是指用户查询数据,在数据库没有,自然在缓存中也不会有。这样就导致用户查询的时候,在缓存中找不到,每次都要去数据库再查询一遍,然后返回空。这样请求就绕过缓存直接查数据库,这也是经常提的缓存命中率问题

2.2 造成的原因:

2.1.1  业务自身代码或数据出现问题;
2.2.1 一些恶意攻击、爬虫造成大量空的命中,此时会对数据库造成很大压力。

2.3 解决方法

2.3.1  设置布隆过滤器,将所有可能存在的数据哈希到一个足够大的bitmap中,一个一定不存在的数据会被这个bitmap拦截掉,
从避免了对底层存储系统的查询压力。
2.3.2  如果一个查询返回的数据为空,不管是数据不存在还是系统故障,我们仍然把这个结果进行缓存,但是它的过期时间会很短
最长不超过5分钟,这样第二次到缓冲中获取就有值了,而不会继续访问数据库,这种办法最简单粗暴  代码大致逻辑如下:

public    String getCacheValue(){
     int cacheTime = 30;
     String  cacheKey = "product_list";
    String cacheValue = redisUtil.get(cacheKey);
    if (StringUtils.isNotBlank(cacheValue)) {
        return cacheValue;
    }else{
        cacheValue = getListFromDB(); //数据库查询不到,为空。
        if (StringUtils.isBlank(cacheValue)) {
            cacheValue = ""; //如果发现为空,设置个默认值,也缓存起来。
        }
        redisUtil.Add(cacheKey, cacheValue, cacheTime);
        return cacheValue;
    }
    return "";
}

这样把空结果也给缓存起来,这样下次同样的请求就可以直接返回空了,即可以避免当查询的值为空时引起的缓存穿透。同时也可以单独设置个缓存区域存储空值,对要查询的key进行预先校验,然后再放行给后面的正常缓存处理逻辑。

发布了99 篇原创文章 · 获赞 26 · 访问量 4万+

猜你喜欢

转载自blog.csdn.net/weixin_39643007/article/details/105235806