互联网应对高峰流量控制- 漏桶算法和令牌桶算法(滴滴面试)

天A君忽然发现本身的接口请求量忽然涨到以前的10倍，没多久该接口几乎不可以使用，并引起连锁反应致使整个系统崩溃。如何应对这种状况呢？生活给了咱们答案：好比老式电闸都安装了保险丝，一旦有人使用超大功率的设备，保险丝就会烧断以保护各个电器不被强电流给烧坏。同理咱们的接口也须要安装上“保险丝”，以防止非预期的请求对系统压力过大而引发的系统瘫痪，当流量过大时，能够采起拒绝或者引流等机制。 

2、经常使用的限流算法

      经常使用的限流算法有两种：漏桶算法和令牌桶算法。

一、漏桶算法

      漏桶算法思路很简单，水（请求）先进入到漏桶里，漏桶以必定的速度出水，当水流入速度过大会直接溢出，能够看出漏桶算法能强行限制数据的传输速率。

图1 漏桶算法示意图

在某些状况下，漏桶算法不可以有效地使用网络资源。由于漏桶的漏出速率是固定的参数，因此即便网络中不存在资源冲突（没有发生拥塞），漏桶算法也不能使某一个单独的流突发到端口速率。所以，漏桶算法对于存在突发特性的流量来讲缺少效率。而令牌桶算法则可以知足这些具备突发特性的流量。一般，漏桶算法与令牌桶算法能够结合起来为网络流量提供更大的控制。

二、令牌桶算法：

      对于不少应用场景来讲，除了要求可以限制数据的平均传输速率外，还要求容许某种程度的突发传输。这时候漏桶算法可能就不合适了，令牌桶算法更为适合。如图2所示，令牌桶算法的原理是系统会以一个恒定的速度往桶里放入令牌，而若是请求须要被处理，则须要先从桶里获取一个令牌，当桶里没有令牌可取时，则拒绝服务。

图2 令牌桶算法示意图

　 令牌桶算法的基本过程以下：

　　假如用户配置的平均发送速率为r，则每隔1/r秒一个令牌被加入到桶中；

　　假设桶最多能够存发b个令牌。若是令牌到达时令牌桶已经满了，那么这个令牌会被丢弃；

　　当一个n个字节的数据包到达时，就从令牌桶中删除n个令牌，而且数据包被发送到网络；

　　若是令牌桶中少于n个令牌，那么不会删除令牌，而且认为这个数据包在流量限制以外；

　　算法容许最长b个字节的突发，但从长期运行结果看，数据包的速率被限制成常量r。对于在流量限制外的数据包能够以不一样的方式处理：

　　它们能够被丢弃；

　　它们能够排放在队列中以便当令牌桶中累积了足够多的令牌时再传输；

　　它们能够继续发送，但须要作特殊标记，网络过载的时候将这些特殊标记的包丢弃。

 

2、两种算法的区别

二者主要区别在于“漏桶算法”可以强行限制数据的传输速率，而“令牌桶算法”在可以限制数据的平均传输速率外，还容许某种程度的突发传输。在“令牌桶算法”中，只要令牌桶中存在令牌，那么就容许突发地传输数据直到达到用户配置的门限，因此它适合于具备突发特性的流量。

 

 

3、限流工具类RateLimiter

 　　Google开源工具包Guava提供了限流工具类RateLimiter，该类基于令牌桶算法来完成限流，很是易于使用。RateLimiter类的接口描述请参考：RateLimiter接口描述，具体使用请参考：RateLimiter使用实践。

      下面是主要源码： 

public double acquire() {
        return acquire(1);
    }

 public double acquire(int permits) {
        checkPermits(permits);  //检查参数是否合法（是否大于0）
        long microsToWait;
        synchronized (mutex) { //应对并发状况须要同步
            microsToWait = reserveNextTicket(permits, readSafeMicros()); //得到须要等待的时间 
        }
        ticker.sleepMicrosUninterruptibly(microsToWait); //等待，当未达到限制时，microsToWait为0
        return 1.0 * microsToWait / TimeUnit.SECONDS.toMicros(1L);
    }

private long reserveNextTicket(double requiredPermits, long nowMicros) {
        resync(nowMicros); //补充令牌
        long microsToNextFreeTicket = nextFreeTicketMicros - nowMicros;
        double storedPermitsToSpend = Math.min(requiredPermits, this.storedPermits); //获取此次请求消耗的令牌数目
        double freshPermits = requiredPermits - storedPermitsToSpend;

        long waitMicros = storedPermitsToWaitTime(this.storedPermits, storedPermitsToSpend)
                + (long) (freshPermits * stableIntervalMicros); 

        this.nextFreeTicketMicros = nextFreeTicketMicros + waitMicros;
        this.storedPermits -= storedPermitsToSpend; // 减去消耗的令牌
        return microsToNextFreeTicket;
    }

private void resync(long nowMicros) {
        // if nextFreeTicket is in the past, resync to now
        if (nowMicros > nextFreeTicketMicros) {
            storedPermits = Math.min(maxPermits,
                    storedPermits + (nowMicros - nextFreeTicketMicros) / stableIntervalMicros);
            nextFreeTicketMicros = nowMicros;
        }
    }

参考：漏桶算法和令牌桶算法