Redis 知识梳理 [ 简单限流 ]

限流算法在分布式领域是一个经常被提起的话题,当系统的处理能力有限时,如 何阻止计划外的请求继续对系统施压,这是一个需要重视的问题。

除了控制流量,限流还有一个应用目的是用于控制用户行为,避免垃圾请求。比 如在 UGC 社区,用户的发帖、回复、点赞等行为都要严格受控,一般要严格限 定某行为在规定时间内允许的次数,超过了次数那就是非法行为。对非法行为, 业务必须规定适当的惩处策略。

 

这个限流需求中存在一个滑动时间窗口,想想 zset 数据结构的 score 值,是不 是可以通过 score 来圈出这个时间窗口来。而且我们只需要保留这个时间窗口, 窗口之外的数据都可以砍掉。那这个 zset 的 value 填什么比较合适呢?它只需 要保证唯一性即可,用 uuid 会比较浪费空间,那就改用毫秒时间戳吧

 

 

如图所示,用一个 zset 结构记录用户的行为历史,每一个行为都会作为 zset 中 的一个 key 保存下来。

同一个用户同一种行为用一个 zset 记录。

为节省内存,我们只需要保留时间窗口内的行为记录,同时如果用户是冷用户, 滑动时间窗口内的行为是空记录,

那么这个 zset 就可以从内存中移除,不再占 用空间。

扫描二维码关注公众号,回复: 5428273 查看本文章

通过统计滑动窗口内的行为数量与阈值 max_count 进行比较就可以得出当前的 行为是否允许。用代码表示如下:

python 版本:

# coding: utf8
import time 
import redis
client = redis.StrictRedis()
    def is_action_allowed(user_id, action_key, period, max_count): 
    key = 'hist:%s:%s' % (user_id, action_key)
    now_ts = int(time.time() * 1000) # 毫秒时间戳
    with client.pipeline() as pipe: # client 是 StrictRedis 实例
        # 记录行为
        pipe.zadd(key, now_ts, now_ts) # value 和 score 都使用毫秒时间戳 # 移除时间窗口之前的行为记录,剩下的都是时间窗口内的 pipe.zremrangebyscore(key, 0, now_ts - period * 1000)
        # 获取窗口内的行为数量
        pipe.zcard(key)
        # 设置 zset 过期时间,避免冷用户持续占用内存
        # 过期时间应该等于时间窗口的长度,再多宽限 1s
        pipe.expire(key, period + 1)
        # 批量执行
        _, _, current_count, _ = pipe.execute()
    # 比较数量是否超标
    return current_count <= max_count
for i in range(20):
    print is_action_allowed("laoqian", "reply", 60, 5)

 


public class SimpleRateLimiter {

    private Jedis jedis;
    public SimpleRateLimiter(Jedis jedis) { 
        this.jedis = jedis;
    }

     
    public boolean isActionAllowed(String userId, String actionKey, int period, int maxCount) { 
        String key = String.format("hist:%s:%s", userId, actionKey);
        long nowTs = System.currentTimeMillis();
        Pipeline pipe = jedis.pipelined();
        pipe.multi();  //事务
        pipe.zadd(key, nowTs, "" + nowTs); 
        pipe.zremrangeByScore(key, 0, nowTs - period * 1000); 
        Response<Long> count = pipe.zcard(key); 
        pipe.expire(key, period + 1);
        pipe.exec();
        pipe.close();
        return count.get() <= maxCount;
    }
    public static void main(String[] args) {
        Jedis jedis = new Jedis();
        SimpleRateLimiter limiter = new SimpleRateLimiter(jedis); 
        for(int i=0;i<20;i++) {
            System.out.println(limiter.isActionAllowed("laoqian", "reply", 60, 5));
        }
    } 

}


 

 

整体思路就是:

每 一个行为到来时,都维护一次时间窗口。将时间窗口外的记录全部清理掉,只保 留窗口内的记录。

zset 集合中只有 score 值非常重要,value 值没有特别的意 义,只需要保证它是唯一的就可以了。

因为这几个连续的 Redis 操作都是针对同一个 key 的,使用 pipeline 可以显著 提升 Redis 存取效率。

但这种方案也有缺点,因为它要记录时间窗口内所有的行 为记录,如果这个量很大,比

如限定 60s 内操作不得超过 100w 次这样的参 数,它是不适合做这样的限流的,因为会消耗大量的存储空间。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

猜你喜欢

转载自blog.csdn.net/zhanglong_4444/article/details/88174806