架构秘笈：移花接木。使用mysql模拟redis

原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。

这年头，你看到的东西未必就是你认为的东西。一个mysql协议的后面，多是tidb；一个linux机器后面，多是一个精简的docker；你以为xjjdog是个女的，但可能ta本身也不太清楚；而当你大呼php万岁的时候，多是研发人员和你开个玩笑，重写了后缀，然后端用的倒是java。

你们都知道redis速度快，但它的容量和内存容量有关，很容易达到瓶颈。有些互联网公司，直接使用redis做为后端数据库（在下佩服）。当业务量暴增，就面临一个redis容量和价格的权衡问题。改业务代码是来不及了，只好用一些持久化存储 ，来模拟redis的一些数据结构。

redis支持近十种数据类型，最经常使用的有5种。string、hash、zset、set、list等。本文将针对几种常见的数据结构，探讨一下经常使用操做的模拟实现。

其实，咱们所须要开发的，就是一个redis代理proxy。redis的客户端，链接上咱们的代理以后，会进行协议解析。解析出来的命令，将会被模拟，而后根据配置的路由，定位到相应的mysql中。

也就是你所使用的redis，其实使用mysql来存储数据的。没有rdb，也没有aof。

Redis是文本协议

redis是文本协议，协议名称叫作RESP。RESP 是 Redis 序列化协议的简写。它是一种直观的文本协议，优点在于实现异常简单，解析性能极好。

如图，Redis 协议将传输的结构数据，能够总结为 5 种最小单元类型。每一个单元结束时，统一加上回车换行符号**\r\n** 。

下面是几个规则：

单行字符串 以 + 开头； 
多行字符串 以 $ 开头，后跟字符串长度； 
整数值 以 : 开头，后跟整数的字符串形式； 
错误消息 以 - 符号开头； 
数组 以 * 号开头，后跟数组的长度；
复制代码

好比，下面这个就是数组[9,9,6]的报文。

*3\r\n:9\r\n:9\r\n:6\r\n
复制代码

因此这个协议的解析和拼装，是很是简单的。拿netty来讲，就有codec-redis 模块供咱们使用。

实现：数据结构设计

在数据表的设计上，咱们发现，kv和hash在效率上没有什么差异，由于它可以直接根据key定位到。

反却是zset，因为有排序的功能，形成了不少操做的执行效率都不尽人意。

另外，因为咱们不一样的数据结构，是使用不一样的表进行存储的。因此删除操做，要在每张表上都执行一遍。

kv设计

kv，即string，是redis里最基本的数据类型。一个key对应一个value，string类型的值最大能存储512MB。

设计专用的数据库表rstore_kv，其中，rkey是主键。

rkey        varchar
val     varchar
lastTime    bigint
复制代码

set操做

insert into rstore_kv("rkey","val","lastTime") values($1,$2,$3) 
on duplicate key update set "val"=$2,"lastTime"=$3
复制代码

get操做

select val from rstore_kv where "rkey" = $1
复制代码

del操做

delete from rstore_kv where "rkey" = $1
复制代码

exists操做

select count(*) as n from rstore_kv where  "rkey" = $1
复制代码

ttl操做

select lastTIme from rstore_kv  where  "rkey" = $1
复制代码

hash设计

hash 是一个键值(key=>value)对集合。hash 特别适合用于存储对象。

设计专用的数据库表rstore_hash，其中，rkey和hkey是联合主键。

rkey        varchar
hkey        varchar
val     varchar
lastTime    bigint
复制代码

hset操做

insert into rstore_hash("rkey","hkey","val","lastTime") values($1,$2,$3,$4) 
on duplicate key update set "val"=$3,"lastTime"=$4
复制代码

hget操做

select val from rstore_hash where "rkey" = $1 and "hkey" = $2
复制代码

hgetall操做

select hkey,val from rstore_hash where "rkey" = $1
复制代码

hdel操做

delete from rstore_hash where "rkey" = $1 and "hkey" = $2
复制代码

del操做

delete from rstore_hash where "rkey" = $1
复制代码

hlen,hexists操做

select count(*) as num from rstore_hash where "rkey" = $1
复制代码

ttl操做

select max(lastTIme) from rstore_hash  where  "rkey" = $1
复制代码

zset设计

Redis zset 和 set 同样也是string类型元素的集合,且不容许重复的成员。不一样的是每一个元素都会关联一个double类型的分数。redis正是经过分数来为集合中的成员进行从小到大的排序。它的底层结构是跳跃表，效率特别高，可是会占用大量内存。

设计专用的数据库表rstore_zset，其中，rkey和member是联合主键。

rkey        varchar
member        varchar
score     double
lastTime    bigint
复制代码

zadd操做

insert into rstore_zset("rkey","member","score","lastTime") values($1,$2,$3,$4) on duplicate key update update set "score"=$3,"lastTime"=$4
复制代码

zscore操做

select score from rstore_zset where "rkey" = $1 and "member" = $2
复制代码

zrem操做

delete from rstore_zset where "rkey" = $1 and "member" = $2" 复制代码

zcard,exists操做

select count(*) as num from rstore_zset where "rkey" = $1
复制代码

zcount操做

select count(*) as num from rstore_zset where "rkey" = $1 and score>=$2 and score<=$3
复制代码

zremrangebyscore操做

delete from rstore_zset where "rkey" = $1 and score>=$2 and score<=$3
复制代码

zrangebyscore操做

select member,score from rstore_zset 
where "rkey" = $1 and score>=$2 and score<=$3 order by score asc,member asc
复制代码

zrange操做

select member,score from rstore_zset 
where "rkey" = $1 order by score asc offset $2 limit $3
复制代码

zrank操做

select rank from (select member,rank() over (order by "score" asc, "lastTime" asc) as rank from rstore_zset where "rkey" = $1 ) m where m."member"= $2;
复制代码

ttl操做

select max(lastTIme) from rstore_zset  where  "rkey" = $1
复制代码

del操做

delete from rstore_zset where "rkey" = $1
复制代码

set设计

Redis的Set是string类型的无序集合。

设计专用的数据库表rstore_set，其中，rkey和member是联合主键。

rkey        varchar
member        varchar
lastTime    bigint
复制代码

sadd操做

insert into rstore_set("rkey","member","lastTime") values($1,$2,$3) 
on duplicate key update update set "lastTime"=$3
复制代码

scard操做

select count(*) as num from rstore_set where "rkey" = $1
复制代码

sismember操做

select member from rstore_set where "rkey" = $1 and "member" = $2
复制代码

smembers操做

select member from rstore_set where "rkey" = $1
复制代码

srem操做

delete from rstore_set where "rkey" = $1 and "member" = $2
复制代码

del操做

delete from rstore_set where "rkey" = $1
复制代码

ttl操做

select max(lastTIme) from rstore_set  where  "rkey" = $1
复制代码

End

本篇文章仅仅模拟了最经常使用数据结构的最经常使用功能，有不少不少功能是不支持的，比较明显的就是分布式锁setnx等。因此这个proxy层的开发，要想作到ok，并非那么简单。

同时，咱们以一种模拟的视角，来看一下redis的数据结构，在关系型数据库中的表现形式。这样，更可以加深咱们对redis的认识，明白它存在的价值。

做者简介：小姐姐味道 (xjjdog)，一个不容许程序员走弯路的公众号。聚焦基础架构和Linux。十年架构，日百亿流量，与你探讨高并发世界，给你不同的味道。个人我的微信xjjdog0，欢迎添加好友，​进一步交流。​

近期热门文章​

《必看！java后端，亮剑诛仙》 后端技术索引，中肯火爆

《学完这100多技术，能当架构师么？（非广告）》 精准点评100多框架，帮你选型

《Linux上，最经常使用的一批命令解析（10年精选）》 CSDN发布首日，1k赞。点赞率1/8。

《此次要是讲不明白Spring Cloud核心组件，那我就白编这故事了》 用故事讲解核心组件，包你满意

《Linux生产环境上，最经常使用的一套“Sed“技巧》 最经常使用系列Sed篇，简单易懂。Vim篇更加易懂。