Redis核心数据结构与高性能原理

点赞再看，养成习惯，公众号搜一搜【一角钱技术】关注更多原创技术文章。本文 GitHub org_hejianhui/JavaStudy 已收录，有个人系列文章。

五种经常使用数据结构

String 结构

字符串经常使用操做

SET key value 	//存入字符串键值对
MSET key value [key value ...] 	//批量存储字符串键值对
SETNX key value 	//存入一个不存在的字符串键值对
GET key 	//获取一个字符串键值
MGET key [key ...]	//批量获取字符串键值
DEL key [key ...] 	//删除一个键
EXPIRE key seconds //设置一个键的过时时间(秒)
复制代码

原子加减

INCR key //将key中储存的数字值加1
DECR key //将key中储存的数字值减1
INCRBY key increment //将key所储存的值加上increment
DECRBY key decrement //将key所储存的值减去decrement
复制代码

String 应用场景

• 单值缓存
• 对象缓存
• 分布式锁
• 计数器
• Web集群Session共享
• 分布式系统全局序列号

1. 单值缓存

SET key value
Get key
复制代码

2. 对象缓存

SET user:1 value(json格式数据)
MSET user:1:name yijiaoqian user:1:balance 1888
MGET user:1:name user:1:balance 
复制代码

3. 分布式锁

SETNX product:10001  true //返回1表明获取锁成功
SETNX product:10001  true //返回0表明获取锁失败
...执行业务操做...
DEL product:10001	//执行完业务释放锁

SET product:10001 true  ex  10  nx	//防止程序意外终止致使死锁

复制代码

4. 计数器

INCR article:readcount:{文章id}  	
GET article:readcount:{文章id}  
复制代码

5. Web集群Session共享

Spring session + redis 实现sessio共享

6. 分布式系统全局序列号

INCRBY orderId 1000	//redis批量生成序列号提高性能
复制代码

Hash 结构

Hash经常使用操做

HSET key field value 	//存储一个哈希表key的键值
HSETNX key field value 	//存储一个不存在的哈希表key的键值
HMSET key field  value [field value ...] //在一个哈希表key中存储多个键值对
HGET key field 	//获取哈希表key对应的field键值
HMGET key field [field ...] //批量获取哈希表key中多个field键值
HDEL key field [field ...] 	//删除哈希表key中的field键值
HLEN key	//返回哈希表key中field的数量
HGETALL key	//返回哈希表key中全部的键值

HINCRBY key field increment //为哈希表key中field键的值加上增量increment
复制代码

Hash应用场景

• 对象存储

HMSET user {userId}:name  yijiaoqian {userId}:balance  1888
HMSET user 1:name yijiaoqian 1:balance 1888
HMGET user 1:name 1:balance  
复制代码

• 电商购物车

1. 以用户id为key
2. 商品id为field
3. 商品数量为value  

购物车操做：

1. 添加商品：hset cart:1001 10088 1
2. 增长数量：hincrby cart:1001 10088 1
3. 商品总数：hlen cart:1001
4. 删除商品：hdel cart:1001 10088
5. 获取购物车全部商品：hgetall cart:1001  

Hash结构优缺点

优势：

1. 同类数据归类整合储存，方便数据管理
2. 相比string操做消耗内存与cpu更小
3. 相比string储存更节省空间  

缺点：

1. 过时功能不能使用在field上，只能用在key上
2. Redis集群架构下不适合大规模使用  

List 结构

List经常使用操做

LPUSH key value [value ...] //将一个或多个值value插入到key列表的表头(最左边)
RPUSH key value [value ...]	 //将一个或多个值value插入到key列表的表尾(最右边)
LPOP key	//移除并返回key列表的头元素
RPOP key	//移除并返回key列表的尾元素
LRANGE key start stop	//返回列表key中指定区间内的元素，区间以偏移量start和stop指定

BLPOP key [key ...] timeout	//从key列表表头弹出一个元素，若列表中没有元素，阻塞等待timeout秒,若是timeout=0,一直阻塞等待
BRPOP key [key ...] timeout //从key列表表尾弹出一个元素，若列表中没有元素，阻塞等待timeout秒,若是timeout=0,一直阻塞等待
复制代码

List应用场景

• 经常使用数据结构：

1. Stack(栈) = LPUSH + LPOP （FILO）
2. Queue(队列）= LPUSH + RPOP （FIFO）
3. Blocking MQ(阻塞队列）= LPUSH + BRPOP  

• 微博和微信公号消息流

一角钱关注了雷军、马云等大V
1）雷布斯发微博，消息ID为10018
LPUSH  msg:{一角钱-ID}  10018
2）马云发微博，消息ID为10086
LPUSH  msg:{一角钱-ID} 10086
3）查看最新微博消息
LRANGE  msg:{一角钱-ID}  0  4
复制代码

Set 结构

Set经常使用操做

SADD key member [member ...]	//往集合key中存入元素，元素存在则忽略，若key不存在则新建
SREM key member [member ...]	//从集合key中删除元素
SMEMBERS key	//获取集合key中全部元素
SCARD key	//获取集合key的元素个数
SISMEMBER key member	//判断member元素是否存在于集合key中
SRANDMEMBER key [count]	//从集合key中选出count个元素，元素不从key中删除
SPOP key [count]	//从集合key中选出count个元素，元素从key中删除
复制代码

Set运算操做

SINTER key [key ...] //交集运算
SINTERSTORE destination key [key ..] //将交集结果存入新集合destination中
SUNION key [key ..] //并集运算
SUNIONSTORE destination key [key ...]	//将并集结果存入新集合destination中
SDIFF key [key ...] //差集运算
SDIFFSTORE destination key [key ...]	//将差集结果存入新集合destination中
复制代码

Set应用场景

• 微信抽奖小程序

1.点击参与抽奖加入集合： SADD key {userID} 
2.查看参与抽奖全部用户：SMEMBERS key
3.抽取count名中奖者：SRANDMEMBER key [count]/ SPOP key [count]
复制代码

• 微信微博点赞、收藏、标签

1.点赞： SADD  like:{消息ID}  {用户ID} 
2.取消点赞： SREM like:{消息ID}  {用户ID} 
3.检查用户是否点过赞： SISMEMBER  like:{消息ID}  {用户ID} 
4.获取点赞的用户列表： SMEMBERS like:{消息ID} 
5.获取点赞用户数： SCARD like:{消息ID}
复制代码

• 集合操做

SINTER set1 set2 set3 -> { c } 	// 交集
SUNION set1 set2 set3 -> { a,b,c,d,e }	// 并集
SDIFF set1 set2 set3  -> { a }	// 差集
复制代码

• 集合操做实现微博微信关注模型

1) 张三关注的人: 
zhangsanSet-> {lisi, wangwu}
2) 一角钱关注的人:
 yijiaoqianSet--> {zhangsan, zhaoliu, lisi, wangwu}
3) 李四关注的人: 
lisiSet-> {zhangsan, yijiaoqian, zhaoliu, wangwu, xunyu)
4) 我和一角钱共同关注: 
SINTER zhangsanSet yijiaoqianSet--> {lisi, wangwu}
5) 我关注的人也关注他(一角钱): 
SISMEMBER lisiSet yijiaoqian 
SISMEMBER wangwuSet yijiaoqian
6) 我可能认识的人: 
SDIFF yijiaoqianSet zhangsanSet->(zhangsan, zhaoliu}
复制代码

• 集合操做实现电商商品筛选

SADD brand:huawei  P40
SADD brand:xiaomi  mi-10
SADD brand:iPhone iphone12
SADD os:android P40 mi-10
SADD cpu:brand:intel P40 mi-10
SADD ram:8G P40 mi-10 iphone12

SINTER os:android cpu:brand:intel ram:8G >  {P40，mi-10}

复制代码

ZSet 有序集合结构

ZSet经常使用操做

ZADD key score member [[score member]…]	//往有序集合key中加入带分值元素
ZREM key member [member …]	//从有序集合key中删除元素
ZSCORE key member 	//返回有序集合key中元素member的分值
ZINCRBY key increment member	//为有序集合key中元素member的分值加上increment 
ZCARD key	//返回有序集合key中元素个数
ZRANGE key start stop [WITHSCORES]	//正序获取有序集合key从start下标到stop下标的元素
ZREVRANGE key start stop [WITHSCORES]//倒序获取有序集合key从start下标到stop下标的元素
复制代码

ZSet集合操做

ZUNIONSTORE destkey numkeys key [key ...] 	//并集计算
ZINTERSTORE destkey numkeys key [key …]		//交集计算
复制代码

ZSet应用场景

• ZSet集合操做实现排行榜

1. 点击新闻：
ZINCRBY hotNews:20201221 1 完善低龄未成年人犯罪规定
2. 展现当日排行前十：
ZREVRANGE hotNews:20201221 0 9 WITHSCORES
3. 七日搜索榜单计算：
ZUNIONSTORE hotNews:20201215-20201221  7 
hotNews:20201215 hotNews:20201216... hotNews:20201221
4. 展现七日排行前十：
ZREVRANGE hotNews:20201215-20201221 0 9 WITHSCORES
复制代码

Redis的单线程和高性能

Redis是单线程吗？

Redis的单线程主要是指 Redis 的网络IO和键值对读写是由一个线程来完成的，这也是Redis对外提供键值存储服务的主要流程。可是Redis的其余功能，好比持久化、异步删除、集群数据同步等，其实由额外的线程执行的。

Redis 单线程为何还能这么快？

由于它全部的数据都在内存中，全部的运算都是内存级别的运算，并且单线程避免来多线程的切换性能损耗问题，正由于Redis是单线程，因此要当心使用Redis 指令，对于那些耗时的指令（好比keys），必定要谨慎使用，一不当心就可能会致使 Redis 卡顿。

Redis 单线程如何处理那么多的并发客户端链接？

Redis 的IO多路复用：redis利用epoll实现IO多路复用，将链接信息和事件放到队列中，依次放到文件事件分派器，事件分派器将事件分发给事件处理器。

# 查看redis支持的最大链接数，在redis.conf文件中可修改，# maxclients 10000
127.0.0.1:6379> CONFIG GET maxclients
    ##1) "maxclients"
    ##2) "10000"
复制代码

其余高级命令

keys：全量遍历键

用来列出全部知足特定正则字符串规则的key，当redis数据量比较大时，性能比较差，要避免使用。

127.0.0.1:6379> set codehole1 a
OK
127.0.0.1:6379> set codehole2 b
OK
127.0.0.1:6379> set codehole3 c
OK
127.0.0.1:6379> set code1hole a
OK
127.0.0.1:6379> set code2hole b
OK
127.0.0.1:6379> set code3hole c
OK
127.0.0.1:6379> keys *
1) "codehole1"
2) "codehole3"
3) "codehole2"
4) "code3hole"
5) "code1hole"
6) "code2hole"
127.0.0.1:6379> keys codehole*
1) "codehole1"
2) "codehole3"
3) "codehole2"
127.0.0.1:6379> keys code*hole
1) "code3hole"
2) "code1hole"
3) "code2hole"
复制代码

scan：渐进式遍历键

SCAN cursor [MATCH pattern] [COUNT count]
复制代码

scan 参数提供了三个参数：

• 第一个参数 cursor 整数值（hash桶的索引值）
• 第二个是 key 的正则模式
• 第三个是一次遍历的key的数量（参考值，底层遍历的数量不必定），并很多符合条件的结果数量。

第一次遍历时，cursor 值为0，而后将返回结果中的第一个整数值做为下一次遍历的 cursor。一直遍历到返回的 cursor 值为0时结束。

注意：可是scan并不是完美无暇，若是在scan的过程当中若是有键的变化（增长、删除、修改），那么遍历效果可能会碰到以下问题：新增的键可能没有遍历到，遍历出了重复的键等状况，也就是说scan并不能保证完整的遍历出来全部的键，这些是咱们在开发时须要考虑的。

info：查看redis服务运行信息

分为 9 大块，每一个块都有很是多的参数：

• Server 服务器运行的环境参数
• Clients 客户端相关信息
• Memory 服务器运行内存的统计数据
• Persistence 持久化信息
• Stats 通用统计数据
• Replication 主从复制相关信息
• CPU CPU使用状况
• Cluster 集群信息
• KeySpace 键值对统计数量信息

核心属性说明：

connected_clients:2                  # 正在链接的客户端数量

instantaneous_ops_per_sec:789        # 每秒执行多少次指令

used_memory:929864                   # Redis分配的内存总量(byte)，包含redis进程内部的开销和数据占用的内存
used_memory_human:908.07K            # Redis分配的内存总量(Kb，human会展现出单位)
used_memory_rss_human:2.28M          # 向操做系统申请的内存大小(Mb)（这个值通常是大于used_memory的，由于Redis的内存分配策略会产生内存碎片）
used_memory_peak:929864              # redis的内存消耗峰值(byte)
used_memory_peak_human:908.07K       # redis的内存消耗峰值(KB)

maxmemory:0                         # 配置中设置的最大可以使用内存值(byte),默认0,不限制
maxmemory_human:0B                  # 配置中设置的最大可以使用内存值
maxmemory_policy:noeviction         # 当达到maxmemory时的淘汰策略
复制代码

文章持续更新，能够公众号搜一搜「 一角钱技术 」第一时间阅读， 本文 GitHub org_hejianhui/JavaStudy 已经收录，欢迎 Star。