Redis缓存异常之缓存雪崩问题详细说明

目录

缓存异常:缓存雪崩、击穿、穿透

1.缓存雪崩

1.1了解:

1.2第一个原因是:缓存大量过期

1.3第二个原因:Redis 缓存实例发生故障宕机

2.缓存击穿

2.1了解

2.2解决方式:

3.缓存穿透

3.1了解

3.2缓存穿透会发生两种情况

3.3第一种解决方式:缓存空值或缺省值。

3.4第二种解决方式:使用布隆过滤器快速判断数据是否存在,避免从数据库中查询数据是否存在,减轻数据库压力。

3.5第三种解决方式:在请求入口的前端进行请求检测

4.小结:缓存三剑客:缓存雪崩、击穿、穿透

4.1主要分析

4.4方案分析

4.3预防式方案


缓存异常:缓存雪崩、击穿、穿透

当发生缓存雪崩或击穿时,数据库中还是保存了应用要访问的数据。

缓存击穿,缓存更数据库中都没有应用要访问的数据。

1.缓存雪崩

1.1了解:

缓存雪崩是指大量的应用请求无法在 Redis 缓存中进行处理,紧接着,应用将大量请求发送到数据库层,导致数据库层的压力激增。

1.2第一个原因是:缓存大量过期

缓存中有大量数据同时过期,导致大量请求无法得到处理。

具体说明:

当数据保存在缓存中,并且设置了过期时间时--》某一个时刻,大量数据同时过期--》应用再次访问这些数据,发生缓存缺失--》应用把请求发送给数据库,从数据库中读取数据--》应用并发请求量大,数据库压力大,影响数据库正常业务请求处理

第一种解决方式:微调缓存过期时间

如果业务层的确要求有些数据同时失效,在使用 EXPIRE 命令给每个数据设置过期时间时,给这些数据的过期时间增加一个较小的随机数(例如,随机增加 1~3 分钟)。设置之后:不同数据的过期时间有所差别,但差别又不会太大,既避免了大量数据同时过期,同时也保证了这些数据基本在相近的时间失效,仍然能满足业务需求

第二种解决方式:服务降级

  • 当业务应用访问的是非核心数据(例如电商商品属性)时,暂时停止从缓存中查询这些数据,而是直接返回预定义信息、空值或是错误信息;
  • 当业务应用访问的是核心数据(例如电商商品库存)时,仍然允许查询缓存,如果缓存缺失,也可以继续通过数据库读取。

只有部分过期数据的请求会发送到数据库,数据库的压力没有那么大。

下面这张图显示的是服务降级时数据请求的执行情况:

1.3第二个原因:Redis 缓存实例发生故障宕机

Redis 缓存实例发生故障宕机了,无法处理请求,这就会导致大量请求一下子积压到数据库层,从而发生缓存雪崩。

说明:

1个 Redis 实例可以支持数万级别的请求处理吞吐量,而单个数据库可能只能支持数千级别的请求处理吞吐量,它们两个的处理能力可能相差了近十倍。由于缓存雪崩,Redis 缓存失效,所以,数据库就可能要承受近十倍的请求压力,从而因为压力过大而崩溃。

第一种解决方式:是在业务系统中实现服务熔断或请求限流机制

服务熔断

服务熔断:是指在发生缓存雪崩时,暂停业务应用对缓存系统的接口访问。为了防止引发连锁的数据库雪崩,甚至是整个系统的崩溃。

业务应用调用缓存接口--》缓存客户端不把请求发给 Redis 缓存实例--》Redis 缓存实例重新恢复服务后--》允许应用请求发送到缓存系统。

避免了大量请求因缓存缺失,而积压到数据库系统,保证了数据库系统的正常运行。

在业务系统运行监测 Redis 缓存所在机器和数据库所在机器的负载指标,例如每秒请求数、CPU 利用率、内存利用率等。---》发现 Redis 缓存实例宕机了,而数据库所在机器的负载压力突然增加(例如每秒请求数激增)--》缓存雪崩--》大量请求被发送到数据库进行处理--》启动服务熔断机制,暂停业务应用对缓存服务的访问。

降低对数据库的访问压力,如下图所示:

服务熔断虽然可以保证数据库的正常运行,但是暂停了整个缓存系统的访问,对业务应用的影响范围大

请求限流机制

请求限流:在业务系统的请求入口前端控制每秒进入系统的请求数,避免过多的请求被发送到数据库。

例子:

假设业务系统正常运行时,请求入口前端允许每秒进入系统的请求是 1 万个,其中,9000 个请求都能在缓存系统中进行处理,只有 1000 个请求会被应用发送到数据库进行处理。

一旦发生了缓存雪崩,数据库的每秒请求数突然增加到每秒 1 万个,可以启动请求限流机制,在请求入口前端只允许每秒进入系统的请求数为 1000 个,再多的请求就会在入口前端被直接拒绝服务。

使用了请求限流,就可以避免大量并发请求压力传递到数据库层。

服务熔断或是请求限流机制。都是发生雪崩之后采取的措施,来应对 Redis 实例宕机导致的缓存雪崩问题。来降低雪崩对数据库和整个业务系统的影响。

第二种解决方式:事前预防

通过主从节点的方式构建 Redis 缓存高可靠集群。如果 Redis 缓存的主节点故障宕机了,从节点还可以切换成为主节点,继续提供缓存服务,避免了由于缓存实例宕机而导致的缓存雪崩问题。

2.缓存击穿

2.1了解

缓存击穿是指,针对某个访问非常频繁的热点数据的请求,无法在缓存中进行处理,访问该数据的大量请求,一下子都发送到了后端数据库,导致了数据库压力激增,会影响数据库处理其他请求。缓存击穿的情况,经常发生在热点数据过期失效时:

2.2解决方式:

为了避免缓存击穿给数据库带来的激增压,对于访问特别频繁的热点数据,不设置过期时间。对热点数据的访问请求,都可以在缓存中进行处理,而 Redis 数万级别的高吞吐量可以很好地应对大量的并发请求访问。

3.缓存穿透

3.1了解

缓存穿透是指要访问的数据既不在 Redis 缓存中,也不在数据库中,导致请求在访问缓存时,发生缓存缺失,再去访问数据库时,发现数据库中也没有要访问的数据,应用也无法从数据库中读取数据再写入缓存,来服务后续请求。缓存也就成了“摆设”,如果应用持续有大量请求访问数据,就会同时给缓存和数据库带来巨大压力

  

3.2缓存穿透会发生两种情况

  • 业务层误操作:缓存中的数据和数据库中的数据被误删除了,所以缓存和数据库中都没有数据;
  • 恶意攻击:专门访问数据库中没有的数据。

3.3第一种解决方式:缓存空值或缺省值。

一旦发生缓存穿透,可以针对查询的数据,在 Redis 中缓存一个空值或是和业务层协商确定的缺省值(例如,库存的缺省值可以设为 0)。紧接着,应用发送的后续请求再进行查询时,就可以直接从 Redis 中读取空值或缺省值,返回给业务应用了,避免了把大量请求发送给数据库处理,保持了数据库的正常运行。

3.4第二种解决方式:使用布隆过滤器快速判断数据是否存在,避免从数据库中查询数据是否存在,减轻数据库压力。

布隆过滤器是如何工作

布隆过滤器由一个初值都为 0 的 bit 数组和 N 个哈希函数组成,可以用来快速判断某个数据是否存在,想标记某个数据存在时(例如,数据已被写入数据库),布隆过滤器会通过三个操作完成标记:

  1. 首先,使用 N 个哈希函数,分别计算这个数据的哈希值,得到 N 个哈希值。
  2. 然后,把这 N 个哈希值对 bit 数组的长度取模,得到每个哈希值在数组中的对应位置
  3. 最后,把对应位置的 bit 位设置为 1,这就完成了在布隆过滤器中标记数据的操作。

如果数据不存在(例如,数据库里没有写入数据),也就没有用布隆过滤器标记过数据,那么,bit 数组对应 bit 位的值仍然为 0

布隆过滤器查询

当需要查询某个数据时,执行计算过程,先得到这个数据在 bit 数组中对应的 N 个位置。查看 bit 数组中这 N 个位置上的 bit 值。只要这 N 个 bit 值有一个不为 1,这就表明布隆过滤器没有对该数据做过标记,所以,查询的数据一定没有在数据库中保存。

图中布隆过滤器是一个包含 10 个 bit 位的数组,使用了 3 个哈希函数,当在布隆过滤器中标记数据 X 时,X 会被计算 3 次哈希值,并对 10 取模,取模结果分别是 1、3、7。所以,bit 数组的第 1、3、7 位被设置为 1。当应用想要查询 X 时,只要查看数组的第 1、3、7 位是否为 1,只要有一个为 0,那么,X 就肯定不在数据库中。

基于布隆过滤器的快速检测特性,在把数据写入数据库时,使用布隆过滤器做个标记。当缓存缺失后,应用查询数据库时,可以通过查询布隆过滤器快速判断数据是否存在。如果不存在,就不用再去数据库中查询了。防止缓存穿透。大量请求只会查询 Redis 和布隆过滤器,而不会积压到数据库,也就不会影响数据库的正常运行。布隆过滤器可以使用 Redis 实现,本身就能承担较大的并发访问压力。

3.5第三种解决方式:在请求入口的前端进行请求检测

一个有效的应对方案是在请求入口前端,对业务系统接收到的请求进行合法性检测,把恶意的请求(例如请求参数不合理、请求参数是非法值、请求字段不存在)直接过滤掉,不让它们访问后端缓存和数据库。这样一来,也就不会出现缓存穿透问题了。

4.小结:缓存三剑客:缓存雪崩、击穿、穿透

4.1主要分析

  1. 缓存雪崩和击穿主要是因为数据不在缓存中了
  2. 缓存穿透则是因为数据既不在缓存中,也不在数据库中。
  3. 缓存雪崩或击穿时,一旦数据库中的数据被再次写入到缓存后,应用又可以在缓存中快速访问数据了,数据库的压力也会相应地降低下来,
  4. 缓存穿透发生时,Redis 缓存和数据库会同时持续承受请求压力。

4.4方案分析

服务熔断、服务降级、请求限流这些方法都是属于“有损”方案,在保证数据库和整体系统稳定的同时,会对业务应用带来负面影响。例如使用服务降级时,有部分数据的请求就只能得到错误返回信息,无法正常处理。如果使用了服务熔断,那么,整个缓存系统的服务都被暂停了,影响的业务范围更大。而使用了请求限流机制后,整个业务系统的吞吐率会降低,能并发处理的用户请求会减少,会影响到用户体验。

缓存雪崩和击穿问题来说,服务熔断、服务降级和请求限流这三种方法属于有损方法,会降低业务吞吐量、拖慢系统响应、降低用户体验。不过,采用这些方法后,随着数据慢慢地重新填充回 Redis,Redis 还是可以逐步恢复缓存层作用的。

4.3预防式方案

  1. 针对缓存雪崩,合理地设置数据过期时间,以及搭建高可靠缓存集群;
  2. 针对缓存击穿,在缓存访问非常频繁的热点数据时,不要设置过期时间;
  3. 针对缓存穿透,提前在入口前端实现恶意请求检测,或者规范数据库的数据删除操作,避免误删除。

在讲到缓存雪崩时,我提到,可以采用服务熔断、服务降级、请求限流的方法来应对。这三个机制可以用来应对缓存穿透问题吗?

缓存穿透这个问题的本质是查询了 Redis 和数据库中没有的数据,而服务熔断、服务降级和请求限流的方法,本质上是为了解决 Redis 实例没有起到缓存层作用的问题,缓存雪崩和缓存击穿都属于这类问题。

在缓存穿透的场景下,业务应用是要从 Redis 和数据库中读取不存在的数据,此时,如果没有人工介入,Redis 是无法发挥缓存作用的。一个可行的办法就是事前拦截,不让这种查询 Redis 和数据库中都没有的数据的请求发送到数据库层。使用布隆过滤器也是一个方法,布隆过滤器在判别数据不存在时,是不会误判的,而且判断速度非常快,一旦判断数据不存在,就立即给客户端返回结果。使用布隆过滤器的好处是既降低了对 Redis 的查询压力,也避免了对数据库的无效访问。

纸上得来终觉浅,觉知此事要躬行 

猜你喜欢

转载自blog.csdn.net/qq_45656077/article/details/129778747