高并发 Nginx+Lua OpenResty系列（5）——Lua开发库Redis

Redis客户端

lua-resty-redis是为基于cosocket API的ngx_lua提供的Lua redis客户端，经过它能够完成Redis的操做。默认安装OpenResty时已经自带了该模块，使用文档可参考https://github.com/openresty/lua-resty-redis。

基本操做

1. 建立redis/test_redis_baisc.lua

local function close_redes( red )
  if not red then
    return
  end
  local ok, err = red:close()
  if not ok then
    ngx.say("close redis error:", err)
  end
end

local redis = require("resty.redis")

-- 建立实例
local red = redis:new()
-- 设置超时(毫秒)
red:set_timeout(2000)
-- 创建链接
local ip = "172.19.73.87"
local port = 6379
local ok, err = red:connect(ip, port)
if not ok then
  return
end
local res, err = red:auth("wsy@123456")
if not res then
  ngx.say("connect to redis error : ", err)
  return
end
-- 调用API进行处理
res, err = red:set("msg", "hello world")
if not res then
  ngx.say("set msg error : ", err)
  return close_redes(red)
end

-- 调用API获取数据
local resp, err = red:get("msg")
if not resp then
  ngx.say("get msg erro:", err)
  return close_redes(red)
end
-- 获得数据为空处理
if resp == ngx.null then
  resp = '' -- 好比默认值
end
ngx.say("msg:", resp)

close_redes(red)

基本逻辑很简单，要注意此处判断是否为nil，须要跟ngx.null比较。

2. openResty.conf配置文件

location /lua_redis_basic {  
        default_type 'text/html';  
        lua_code_cache on;  
        content_by_lua_file /usr/openResty/lua/redis/test_redis_basic.lua;  
    }

访问如http://127.0.0.1/lua_redis_basic进行测试，正常状况获得以下信息
msg : hello world

3. 链接池

创建TCP链接须要三次握手而释放TCP链接须要四次握手，而这些往返时延仅须要一次，之后应该复用TCP链接，此时就能够考虑使用链接池，即链接池能够复用链接。
咱们只须要将以前的close_redis函数改造为以下便可：

local function close_redes( red )
  if not red then
    return
  end
  -- 释放链接（链接池实现）
  local pool_max_idle_time = 10000 -- 毫秒
  local pool_size = 100 --链接池大小
  local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)
  if not ok then
    ngx.say("set keepalive error : ", err)
  end
end

即设置空闲链接超时时间防止链接一直占用不释放；设置链接池大小来复用链接。


此处假设调用red:set_keepalive()，链接池大小经过nginx.conf中http部分的以下指令定义：
默认链接池大小，默认30
lua_socket_pool_size 30;
默认超时时间,默认60s
lua_socket_keepalive_timeout 60s;


注意：

1. 链接池是每Worker进程的，而不是每Server的；
2. 当链接超过最大链接池大小时，会按照LRU算法回收空闲链接为新链接使用；
3. 链接池中的空闲链接出现异常时会自动被移除；
4. 链接池是经过ip和port标识的，即相同的ip和port会使用同一个链接池（即便是不一样类型的客户端如Redis、Memcached）；
5. 链接池第一次set_keepalive时链接池大小就肯定下了，不会再变动；
6. cosocket的链接池http://wiki.nginx.org/HttpLuaModule#tcpsock:setkeepalive。

4. pipeline

pipeline即管道，能够理解为把多个命令打包而后一块儿发送；MTU（Maxitum Transmission Unit 最大传输单元）为二层包大小，通常为1500字节；而MSS（Maximum Segment Size 最大报文分段大小）为四层包大小，其通常是1500-20（IP报头）-20（TCP报头）=1460字节；所以假设咱们执行的多个Redis命令能在一个报文中传输的话，能够减小网络往返来提升速度。所以能够根据实际状况来选择走pipeline模式将多个命令打包到一个报文发送而后接受响应，而Redis协议也能很简单的识别和解决粘包。
修改以前的代码段
test_pipeline.lua

-- local function close_redes( red )
--   if not red then
--     return
--   end
--   local ok, err = red:close()
--   if not ok then
--     ngx.say("close redis error:", err)
--   end
-- end

local function close_redes( red )
  if not red then
    return
  end
  -- 释放链接（链接池实现）
  local pool_max_idle_time = 10000 -- 毫秒
  local pool_size = 100 --链接池大小
  local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)
  if not ok then
    ngx.say("set keepalive error : ", err)
  end
end

local redis = require("resty.redis")

-- 建立实例
local red = redis:new()
-- 设置超时(毫秒)
red:set_timeout(2000)
-- 创建链接
local ip = "172.19.73.87"
local port = 6379
local ok, err = red:connect(ip, port)
if not ok then
  return
end
local res, err = red:auth("wsy@123456")
if not res then
  ngx.say("connect to redis error : ", err)
  return
end

red:init_pipeline()
red:set("msg1", "hello1")
red:set("msg2", "hello2")
red:get("msg1")
red:get("msg2")
local respTable, err = red:commit_pipeline()

-- 获得数据为空处理
if respTable == ngx.null then
  respTable = {}
end

-- 结果是按照执行顺序返回的一个table
for i, v in ipairs(respTable) do
  ngx.say("msg : ", v, "<br/>")
end

close_redes(red)

经过init_pipeline()初始化，而后经过commit_pipieline()打包提交init_pipeline()以后的Redis命令；返回结果是一个lua table，能够经过ipairs循环获取结果；
配置相应location，测试获得的结果
openResty.conf配置文件

location /lua_redis_pipeline {  
        default_type 'text/html';  
        lua_code_cache on;  
        content_by_lua_file /usr/openResty/lua/redis/test_pipeline.lua;  
    }

msg : OK
msg : OK
msg : hello1
msg : hello2


Redis Lua脚本
利用Redis单线程特性，能够经过在Redis中执行Lua脚本实现一些原子操做。如以前的red:get(“msg”)能够经过以下两种方式实现：
直接eval：

local resp, err = red:eval("return redis.call('get', KEYS[1])", 1, "msg");

script load而后evalsha  SHA1 校验和，这样能够节省脚本自己的服务器带宽：

local sha1, err = red:script("load",  "return redis.call('get', KEYS[1])");  
if not sha1 then  
   ngx.say("load script error : ", err)  
   return close_redis(red)  
end  
ngx.say("sha1 : ", sha1, "")  
local resp, err = red:evalsha(sha1, 1, "msg");

首先经过script load导入脚本并获得一个sha1校验和（仅需第一次导入便可），而后经过evalsha执行sha1校验和便可，这样若是脚本很长经过这种方式能够减小带宽的消耗。
此处仅介绍了最简单的redis lua脚本，更复杂的请参考官方文档学习使用。
另外Redis集群分片算法该客户端没有提供须要本身实现，固然能够考虑直接使用相似于Twemproxy这种中间件实现。