使用Redis管道提高性能

首发于 樊浩柏科学院

Redis 的 管道 （pipelining）是用来打包多条无关命令批量执行，以减小多个命令分别执行带来的网络交互时间。在一些批量操做数据的场景，使用管道能够显著提高 Redis 的读写性能。

原理演示

Redis 的管道实质就是命令打包批量执行，屡次网络交互减小到单次。使用管道和不使用管道时的交互过程以下：

咱们使用 nc 命令来直观感觉下 Redis 管道的使用过程：

# 安装nc命令
$ yum install nc
# nc打包多个命令
$ (printf "PING\r\nPING\r\nPING\r\n") | nc localhost 6379
# 响应
+PONG
+PONG
+PONG

所以，只要经过管道进行命令打包后，Redis 就能够批量返回命令的执行结果了。

管道的应用

首先，构造示例须要的 Hash 用户数据：

$keyPrex = 'user:hash:u:';
for ($i=1; $i<=10000; $i++) {
    $redis->hMset($keyPrex.$i, [
        'name'   => name(),       //name()函数生成随机姓名
        'age'    => rand(21, 30),
        'sex'    => rand(0, 1),
        'is_new' => rand(0, 1)
    ]);
}

而后，查看导入 Redis 中的数据：

127.0.0.1:6379> keys user:hash:u:*
 9997) "user:hash:u:3013"
 9998) "user:hash:u:8971"
 9999) "user:hash:u:4761"
10000) "user:hash:u:1828"

127.0.0.1:6379> HGETALL user:hash:u:1828
1) "name"
2) "ggrg"
3) "age"
4) "23"
5) "sex"
6) "0"
7) "is_new"
8) "1"

需求

在某个社交活动中，经过一系列筛选逻辑后取得种子用户 uid，而后用这些 uid 去 Hash 获取用户的信息。这种状况下你会怎么来处理呢？

不使用管道

通常状况下，在数据量较小时，咱们会直接使用 HGETALL 命令遍历地获取用户数据。

$start = nowTime();
foreach (range(1, 1000) as $id) {
    $user[] = $redis->hgetAll($keyPrex.$id);
}
echo '时间：', nowTime() - $start, 'ms', PHP_EOL;

时间：39ms

执行所用时间：39ms

使用管道

由于经过 uid 批量获取用户数据，各个命令并无依赖关系，因此可使用 Redis 的管道来优化查询。

$start = nowTime();
$redis->multi(Redis::PIPELINE);
foreach (range(1, 1000) as $id) {
    //返回资源id相同的socket资源，并未执行命令
    $redis->hgetAll($keyPrex.$id);  
}
$user = $redis->exec();
echo '时间：', nowTime() - $start, 'ms', PHP_EOL;

时间：6ms

使用管道后，执行时间显著地减小为：6ms。使用 tcpdump 抓取打包后的命令以下：

10:45:03.029049 IP localhost.58176 > localhost.6379: Flags [P.], seq 2255478840:2255479211, ack 3144685411, win 342, options [nop,nop,TS val 17640474 ecr 17640474], length 371
E..../@.@.o..........@...o.8.p.c...V.......
,.*2
$7
HGETALL
$13
user:hash:u:1
*2
$7
HGETALL
$13
user:hash:u:2
*2
$7
... ...

适用场景

在批量操做（查询和写入）数据时，咱们应尽可能避免屡次跟 Redis 的网络交互。这时，可使用管道实现，也能够 Redis 内嵌 Lua 脚本实现。须要注意的是：

• 管道只适用于无因果关联的多命令操做，不然就须要借助 Lua 脚本实现批量操做；
• 在实际应用中，Redis 每每不多是单机部署，若是想要在集群中使用管道，能够部署为一主多从架构，此时全部节点的数据都一致，随机选取节点使用管道便可；

总结

在批量获取数据时，尽管使用 Redis 的管道性能会显著提高，可是使用管道时 Redis 会缓存以前命令的结果，最后一并输出给终端，所以所打包的命令不宜太多，不然内存使用会很严重。