Redis缓存雪崩、击穿、穿透解释及解决方法,缓存预热,布隆过滤器 ,互斥锁

Redis缓存雪崩、击穿、穿透解释及解决方法,缓存预热,布隆过滤器 ,互斥锁

缓存雪崩

**解释:**大量缓存数据同一时间过期或者redis故障时,此时大量用户请求直接打到数据库,造成数据库宕机

解决方法:

  1. 过期时间增加随机数

  2. 互斥锁,

    当发现数据不在redis中时 加一个互斥锁,保证同一时间只有一个请求构建缓存,如果其他请求未获取到锁则等待或者返回空值,注意等待需要设置超时时间,不然如果出现第一个请求获取锁之后一直阻塞,导致其他请求一直获取不到锁。

    import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
    import com.company.dubbodemo.entity.User;
    import com.company.dubbodemo.mapper.UserMapper;
    import com.company.dubbodemo.service.UserService;
    import org.redisson.api.RLock;
    import org.redisson.api.RedissonClient;
    import org.springframework.cache.annotation.Cacheable;
    import org.springframework.stereotype.Service;
    
    import javax.annotation.Resource;
    
    
    @Service
    public class UserServiceImpl extends ServiceImpl<UserMapper, User>
            implements UserService {
          
          
        
    
        @Resource
        private RedissonClient redissonClient;
        
        @Resource
        private UserMapper userMapper;
        
        @Override
        // 一定要设置sync = true开启异步,否则会导致多个线程同时获取到锁
        @Cacheable(cacheNames = "user", key = "#id", sync = true)
        public User findById(Long id) {
          
          
            /**
             *
             * 加了@Cacheable之后方法体执行说明缓存中不存在所查询的数据
             * 获取一把锁,只要锁的名字一样,就是同一把锁
             */
        
            /**
             * 注意: 设置了lock.lock(10,TimeUnit.SECONDS) 锁过期不会自动续期
             *      1、如果我们传递了锁的过期时间,就发送给redis执行脚本,进行占锁,默认超时就是我们指定的时间
             *      2、如果没有指定锁的超时时间,就使用30000L(LockWatchdogTimeout 看门狗的默认时间)
             *      可通过RedissonConfig-->getRedissonClient()-->config.setLockWatchdogTimeout()设置看门狗时间
             *         只要占锁成功就会启动一个定时任务【就会重新给锁设置过期时间,新的时间就是看门狗的默认时间】,每隔10s都会自动续期,续期成30s
             * 看门狗机制
             * 1、锁的自动续期,如果业务超长,运行期间自动给锁续上新的30s。不用担心因为业务时间长,锁自动过期被删除
             * 2、加锁的业务只要运行完成,就不会给当前锁续期,即使不手动解锁,锁默认在30s以后自动删除
             *
             */
            RLock lock = redissonClient.getLock("redissonClient-lock");
        
            // 对第一个线程执行方法体的线程加锁,加了@Cacheable,方法执行之后会将方法的返回值存入缓存,下一个线程直接读取缓存
            lock.lock(10,TimeUnit.SECONDS);
            User user = new User();
            try {
          
          
                user = userMapper.selectById(id);
            } catch (Exception e) {
          
          
                e.printStackTrace();
            } finally {
          
          
                lock.unlock();
            }
            return user;
        }
    
    }
    
  3. 双key策略

    缓存数据设置两个key 一个为主key (设置过期时间) 一个为从key(时间设置比主key长一些,例如多5天),虽然key不同,但value一样

    当业务线程访问不到主key时 则直接返回从key的数据,同时更新主key和从key

  4. 设置缓存永久有效后台定时更新缓存

    不设置缓存的有效时间,让他永久有效,并将更新缓存的工作交由后台线程定时更新。

    虽然缓存数据不设置有效期,但是缓存也不会一直存在redis中,因为当内存紧张时,redis会自动淘汰某些key

    定时更新缓存

    方式一

    创建一个定时任务,定时监测某些key是否失效,如果失效则重新加载

    方式二

    业务线程发现缓存失效后,发送mq消息去执行重新加载缓存

    ps:缓存预热

    当启动系统后可以检查某些key是否存在redis中,如果不存在则进行重新加载,缓存预热是使用缓存的一个优化技巧

    缓存击穿

    解释:某个热点缓存,在某一时刻恰好失效了,然后此时刚好有大量的并发请求,此时这些请求将会给数据库造成巨大的压力,这种情况就叫做缓存击穿

    Ps:缓存击穿和缓存穿透经常记错,这里有一个小技巧

    只需要记住一击必中这个成语; 热点key一般比较少 比作一 ;这样就可以联想记忆到缓存击穿就是热点key失效问题

    解决方法

    1. 加锁排队

      和缓存雪崩的加锁处理方式一致,再查数据库时进行加锁,缓冲大量请求。

    2. 热点key设置永不过期

    对于某些热点缓存,我们可以设置永不过期,这样就能保证缓存的稳定性,但需要注意在数据更改之后,要及时更新此热点缓存,不然就会造成查询结果的误差

    缓存穿透

    **解释:**用户访问的数据既不在缓存中也不在数据库中;当出现大量这种请求后,数据库的压力骤增,可能被直接打穿;这种操作发生情况主要有两种

    1.业务误操作,缓存中的数据和数据库中的数据都被误删除了,所以导致缓存和数据库中都没有数据;

    2.黑客恶意攻击

    解决方法:

    1. 增加黑名单与白名单,限制某些恶意ip访问

    2. 缓存空值或者默认值,当缓存与数据库都没有查询到时,直接返回空值

    3. 增加布隆过滤器

      import com.google.common.hash.BloomFilter;
      import com.google.common.hash.Funnels;
      
      /**
       * 布隆过滤器
       */
      public class BloomFilterTest {
              
              
      
          /**
           * @param expectedInsertions 预期插入值
           *                           这个值的设置相当重要,如果设置的过小很容易导致饱和而导致误报率急剧上升,如果设置的过大,也会对内存造成浪费,所以要根据实际情况来定
           * @param fpp                误差率,例如:0.001,表示误差率为0.1%
           * @return 返回true,表示可能存在,返回false一定不存在
           */
          public static boolean isExist(int expectedInsertions, double fpp) {
              
              
              // 创建布隆过滤器对象
              BloomFilter<Integer> filter = BloomFilter.create(Funnels.integerFunnel(), 500, 0.01);
      
              // 判断指定元素是否存在
              System.out.println(filter.mightContain(10));
      
              // 将元素添加进布隆过滤器
              filter.put(10);
      
              // 再判断指定元素是否存在
              System.out.println(filter.mightContain(10));
              return filter.mightContain(10);
          }
      
          //主类中进行测试
          public static void main(String[] args) {
              
              
      
              boolean exist = isExist(100000000, 0.001);
          }
      }
      

猜你喜欢

转载自blog.csdn.net/itScholar001/article/details/131071967