Redis之数据结构

本文是《Redis设计与实现》的阅读笔记。

基本数据结构

简单动态字符串

Redis中的字符串使用“简单动态字符串”（SDS）表示，不管是字符串值仍是键底层都采用“简单动态字符串”。

• free：未使用空间大小；
• len：字符串长度；
• buf：以空字符结尾的char数组。

为了减小内存从新分配次数，SDS作出了如下优化：

• 空间预分配：额外分配的未使用空间数量由如下公式决定：
  • 若是对SDS进行修改以后，SDS的长小于1MB，那么程序分配和len 属性一样大小的未使用空间，
  • 若是对SDS进行修改以后，SDS的长度将大于等千1MB, 那么程序会分配 1MB 的未使用空间。
• 惰性空间释放：程序并不当即使用内存重分配来回收缩短后多出来的字节，而是使用free属性将这些字节的数量记录起来，并等待未来使用。

链表

链表是Redis列表键实现之一，也是不少其余功能实现的基础，链表节点定义以下：

链表的完整结构体定义以下

• head为表头指针；
• tail为表尾指针；
• len为链表长度计数器；
• dup为函数指针，用于复制链表节点所保存的值；
• free为函数指针，用于释放链表节点所保存的值；
• match为函数指针，则用于对比链表节点所保存的值和另外一个输入值是否相等。

字典

字典将键和值进行关联，当哈希键中的键值对数量比较多，或者键值对中的元素比较大的时候，采用字典做为底层实现。字节的数据结构以下

哈希表结构dict中，table属性是一个数组，每一个元素都是指向dictEntry结构的指针，size属性记录了哈希表的大小，sizemask属性的值老是等于size-1，而used属性则记录了哈希表目前已有节点（键值对）的数量。

字典结构dictType中有两个哈希表ht[0]和ht[1]，ht[l]哈希表只会在对 ht[0]哈希表进行rehash时使用，rehashidx它记录了rehash目前的进度。type属性是一个指向dictType结构的指针，dictType结构保存了一簇用于操做特定类型键值对的函数，例如计算哈希值、复制键、复制值、对比键、销毁键和销毁值的函数。而privdata属性则保存了须要传给那些类型特定函数的可选参数。

为了让哈希表的负载因子维持在一个合理的范围以内，当哈希表保存的键值对数量太多或者太少时，程序须要对哈希表的大小进行相应的扩展或者收缩。

• 若是执行的是扩展操做，那么ht[l]的大小为第一个大于等于ht[0].used*2的；
• 若是执行的是收缩操做，那么ht[1]的大小为第一个大于等于ht[O].used的。

字典采用渐进式rehash，好处在千它采起分而治之的方式，将 rehash键值对所需的计算工做均摊到对字典的每一个添加、删除、查找和更新操做上。

跳跃表

跳跃表能够用于有序集合键的底层实现，数据结构以下

zskiplist结构包含如下属性：

• header: 指向跳跃表的表头节点。
• tail: 指向跳跃表的表尾节点。
• level: 记录目前跳跃表内，层数最大的那个节点的层数。
• length: 记录跳跃表的长度。

zskiplistNode 结构，该结构包含如下属性：

• 层 (level) : 每一个层都带有两个属性：前进指针和跨度。前进指针用于 访问位于表尾方向的其余节点，而跨度则记录了前进指针所指向节点和当前节点的 距离。
• 后退 (backward) 指针：指向位于当前节点的前一个节点。
• 分值 (score): 节点按各自所保存的分值从小到大排列。
• 成员对象 (obj): 节点所保存的成员对象。

整数集合

当一个集合只包含整数值元素，而且这个集合的元素数董很少时， Redis 就会使用整数集合做为集合键的底层实现。

contents数组是整数集合的底层数据存放位置，各个项在数组中按值的大小从小到大有序地排列，而且数组中不包含任何重复项。length属性记录了整数集合包含的元素数量，encoding属性决定了整数类型（INTSET_ENC_INT16/INTSET_ENC_INT32/INTSET_ENC_INT64）。新元素的类型比整数集合现有全部元素的类型都要长时，整数集合须要先进行升级。

压缩链表

若是列表键或者哈希键包含的元素比较少，那么会采用压缩列表做为底层实现。

属性	说明
zlbytes	记录整个压缩列表占用的内存字节数
zltail	记录压缩列表表尾节点距离压缩列表的起始地址有多少字节
zllen	记录了压缩列表包含的节点数量
entryX	压缩列表包含的各个节点
zlend	特殊值 OxFF (十进制 255), 用于标记压缩列表的末端

entryX的数据结构以下

节点的previous_entry_length记录了压缩列表中前一个节 点的长度，节点的encoding属性记录了节点的content属性所保存数据的类型以及长度，节点的content属性负责保存节点的值。

数据结构和对象

Redis对象的结构体定义以下

type为对象类型，encoding为底层使用的数据结构，而ptr是指向底层数据结构的指针。Redis一共支持了五种数据类型，能够使用TYPE命令查看对象的类型。

对象	对象type属性的值	TYPE命令的输出
字符串对象	REDIS_STRING	"string"
列表对象	REDIS_LIST	"list"
哈希对象	REDIS_HASH	"hash"
集合对象	REDIS_SET	"set"
有序集合对象	REDIS_ZSET	"zset"

而对象具体使用的数据结构能够用OBJECT ENCODING命令获取。

类型	编码	对象
REDIS_STRING	REDIS_ENCODING_INT	使用整数值实现的字符串对象
REDIS_STRING	REDIS_ENCODING_EMBSTR	使用 embstr 编码的简单动态字符串实现的字符串对象
REDIS_STRING	REDIS_ENCODING_RAW	使用简单动态字符串实现的字符串对象
REDIS_LIST	REDIS_ENCODING_ZIPLIST	使用压缩列表实现的列表对象
REDIS_LIST	REDIS_ENCODING_LINKEDLIST	使用双端链表实现的列表对象
REDIS_HASH	REDIS_ENCODING_ZIPLIST	使用压缩列表实现的哈希对象
REDIS_HASH	REOIS_ENCODING_HT	使用字典实现的哈希对象
REDIS_SET	REDIS_ENCODING_INTSET	使用整数集合实现的集合对象
REDIS_SET	REDIS_ENCODING_HT	使用字典实现的集合对象
REDIS_ZSET	REDIS_ENCODING_ZIPLIST	使用压缩列表实现的有序集合对象
REDIS_ZSET	REDIS_ENCODING_SKIPLIST	使用跳跃表和字典实现的有序集合对象

不一样类型的对象的编码选择规则以下：

字符串对象

• 若是一个字符串对象保存的是整数值，而且这个整数值能够用 long 类型来表示，那么 字符串对象会将整数值保存在字符串对象结构的 ptr 属性里面
• 若是字符串对象保存的是一个字符串值，而且这个字符串值的长度大于 32 字节，那么 字符串对象将使用一个简单动态字符串 (SDS) 来保存这个字符串值
• 若是字符串对象保存的是一个字符串值，而且这个字符串值的长度小千等于 32 字节， 那么字符串对象将使用 embstr 编码的方式来保存这个字符串值。

列表对象

当列表对象能够同时知足如下两个条件时，列表对象使用ziplist编码：

• 列表对象保存的全部字符串元素的长度都小千 64 字节；
• 列表对象保存的元素数量小千 512 个；

不能知足这两个条件的列表对象须要使用 linkedlist 编码。

恰希对象

当哈希对象能够同时知足如下两个条件时，哈希对象使用 ziplist 编码：

• 哈希对象保存的全部键值对的键和值的字符串长度都小千 64 字节；
• 哈希对象保存的键值对数量小千 512 个；

不能知足这两个条件的哈希对象须要使用 hash able 编码。

集合对象

当集合对象能够同时知足如下两个条件时，对象使用 intset 编码： 集合对象保存的全部元素都是整数值；

• 集合对象保存的元素数量不超过 512 个。

不能知足这两个条件的集合对象须要使用 hash table 编码。

有序集合对象

当有序集合对象能够同时知足如下两个条件时，对象使用ziplist编码：

• 有序集合保存的元素数量小于 128 个；
• 有序集合保存的全部元素成员的长度都小于 64 字节；

不能知足以上两个条件的有序集合对象将使用skiplist编码。

有序集合对象在维护skiplist的同时，使用了dict，使得可以快速完成成员查询。