Nginx流量拦截算法

0x00.About

电商平台营销时候，常常会碰到的大流量问题，除了作流量分流处理，可能还要作用户黑白名单、信誉分析，进而根据用户ip信誉权重作相应的流量拦截、限制流量。

Nginx自身有的请求限制模块ngx_http_limit_req_module、流量限制模块ngx_stream_limit_conn_module基于令牌桶算法，能够方便的控制令牌速率，自定义调节限流，就能很好的限制请求数量，然而，nginx.conf问题仍是在于没法热加载。

以前作过的流量限制方案，《Nginx+Lua+Redis访问频率控制》，原理是动态的基于ip，实现简单的漏桶算法，限制访问频率。

这里的话，就简单分析下流量限制算法：漏桶算法、令牌桶算法、滑动窗口等在Nginx+Lua中如何动态绑定uri，动态设定rate实现。

0x01.Leaky Bucket Algorithm

漏桶算法能够很好地限制容量池的大小，从而防止流量暴增。若是针对uri+ip做为监测的key，就能够实现定向的设定指定ip对指定uri容量大小，超出的请求作队列处理（队列处理要引入消息机制）或者丢弃处理。这也是v2ex对流量拦截的算法，针对uri+ip作流量监测。

漏桶算法实现上来讲，就是创建一个队列，在Redis中以uri:ip做为key，队列上实现FIFO，在请求的前奏实现插入，请求完成后实现删除。

实现方法是在Nginx发送http数据给用户后，经过ngx.eof()关闭TCP协议，作其余操做，能够参见请求返回后继续执行。

下面是部分代码：

local _M = { _VERSION = "2015.10.19", OK = 1, BUSY = 2, FORBIDDEN = 3 }

function _M.do_list(red, uri, key, size, rate)
    local ok, err = red:expire(uri .. ":" .. key, size)
    if not ok then
        ngx.log(ngx.WARN, "redis set expire error: ", err)
        return nil
    end
    local ok, err = red:rpush(uri .. ":" .. key, ngx.time())
    if not ok then
        ngx.log(ngx.WARN, "redis rpush error: ", err)
        return nil
    end
    local res, err = red:lrange(uri .. ":" .. key, -(size * rate), -1)
    if not ok then
        ngx.log(ngx.WARN, "redis lrange error: ", err)
        return nil
    end
    if #res < (size * rate) or res[#res] - res[1] < size then
        return _M.OK
    end
    return nil
end

漏桶算法优势很明显，简单、高效，能恰当拦截容量外的暴力流量。

但缺点也明显，没法对流量作频率处理，好比桶size大小设置范围内，进行并发攻击依然能大流量并发效果，桶容量不能够太小，不然容易卡死正经常使用户。

0x02.Token Bucket Algorithm

令牌桶算法经过发放令牌，根据令牌的rate频率作请求频率限制，容量限制等。

• 系统根据rate(r/s)频率参数向指定桶中添加token，满则保持，不添加

• 当用户请求Nginx时候，分析uri是否须要限制流量，限制则执行令牌桶算法

• 若是桶满了，则请求经过，消耗令牌一枚；若是请求Redis发现key不存在，则经过size装满令牌桶；若是桶内令牌空，则废弃或等待流量。

Nginx + Lua 模型中实现必然不能跑一个程序添加令牌了，这个时候须要在分析令牌时候，经过计算时间间隔一次性添加完令牌桶内令牌。具体算法是：rate * time_distance = token_count令牌数量， if token_count > size 桶容量， token_count = size。

实现的存储结构是用Hash哈希存储 uri:ip -> token_count，字段经过EXPIRE设定过时时间，达到长时间不访问清除桶数据效果。

桶的大小、请求的频率限制用Redis哈希表存储，不存在则默认不作流量拦截。

用户黑白名单经过Order SET设定信誉权重，权重越大，表明危险性越大，进而经过百分比改变接口限定rate频率。

令牌桶算法优点在于能针对uri作定向rate、size等，不只限制总请求大小，还限制平均频率大小。缺点是，仍是容易致使误判等问题，并切用户的信誉没法彻底准确。

参考：

1.Token Bucket Algorithm

2.Token Bucket Algorithm

3.电商课题I：集群环境下业务限流

---

本文出自 夏日小草,转载请注明出处:http://homeway.me/2015/10/21/nginx-lua-traffic-limit-algorithm

-by小草

2015-10-21 21:49:10