断尾求生 —— 简单限流

限流算法在分布式领域是一个常常被提起的话题,当系统的处理能力有限时,如何阻止计划外的请求继续对系统施压,这是一个须要重视的问题。算法

除了控制流量,限流还有一个应用目的是用于控制用户行为,避免垃圾请求。好比在UGC 社区,用户的发帖、回复、点赞等行为都要严格受控,通常要严格限定某行为在规定时间内容许的次数,超过了次数那就是非法行为。对非法行为,业务必须规定适当的惩处策略。缓存

如何使用 Redis 来实现简单限流策略?

首先咱们来看一个常见 的简单的限流策略。系统要限定用户的某个行为在指定的时间里只能容许发生 N 次,如何使用 Redis 的数据结构来实现这个限流的功能?数据结构

这个限流需求中存在一个滑动时间窗口,想一想 zset 数据结构的 score 值,是否是能够经过 score 来圈出这个时间窗口来。并且咱们只须要保留这个时间窗口,窗口以外的数据均可以砍掉。那这个 zset 的 value 填什么比较合适呢?它只须要保证惟一性便可,用 uuid 会比较浪费空间,那就改用毫秒时间戳吧。分布式

Redis简单限流策略

如图所示,用一个 zset 结构记录用户的行为历史,每个行为都会做为 zset 中的一个key 保存下来。同一个用户同一种行为用一个 zset 记录。性能

为节省内存,咱们只须要保留时间窗口内的行为记录,同时若是用户是冷用户,滑动时间窗口内的行为是空记录,那么这个 zset 就能够从内存中移除,再也不占用空间。ui

经过统计滑动窗口内的行为数量与阈值 max_count 进行比较就能够得出当前的行为是否容许。用代码表示以下:code

/**
 * @Auther: majx2
 * @Date: 2019-3-22 14:21
 * @Description:
 */
public class SimpleRateLimiter {

    private Jedis jedis = RedisDS.create().getJedis();

    public boolean isActionAllowed(String userId, String actionKey, int period, int maxCount) {
        String key = String.format("hist:%s:%s", userId, actionKey);
        long nowTs = System.currentTimeMillis();
        Pipeline pipe = jedis.pipelined();
        pipe.multi();
        pipe.zadd(key, nowTs, "" + nowTs);
        // 移除有序集中,指定score区间内的全部成员
        pipe.zremrangeByScore(key, 0, nowTs - period * 1000);
        Response<Long> count = pipe.zcard(key);
        pipe.expire(key, period + 1);
        pipe.exec();
        pipe.close();
        return count.get() <= maxCount;
    }
    public static void main(String[] args) throws InterruptedException {
        final SimpleRateLimiter limiter = new SimpleRateLimiter();
        for(int i=0;i<20;i++) {
            System.out.println(limiter.isActionAllowed("majx2", "reply", 60, 5));
        }
    }
}

总体思路就是:每个行为到来时,都维护一次时间窗口。将时间窗口外的记录所有清理掉,只保留窗口内的记录。zset 集合中只有 score 值很是重要,value 值没有特别的意义,只须要保证它是惟一的就能够了。orm

由于这几个连续的 Redis 操做都是针对同一个 key 的,使用 pipeline 能够显著提高Redis 存取效率。但这种方案也有缺点,由于它要记录时间窗口内全部的行为记录,若是这个量很大,好比限定 60s 内操做不得超过 100w 次这样的参数,它是不适合作这样的限流的,由于会消耗大量的存储空间。中间件

下一节咱们将引入高级限流算法——漏斗限流。ip

本文基于《Redis深度历险:核心原理和应用实践》一文的JAVA实践。更多文章请参考:高性能缓存中间件Redis应用实战(JAVA)

相关文章
相关标签/搜索