Redis(一) -- 浅谈Redis中的数据结构

一：摘要概述

redis的使用者均可以如数家珍的掏出Redis中经常使用的对象如string、list、hash、set、zset,一些场景比较丰富的使用者可能会说布隆过滤器、geoHash等。可是对于这些对象底层实现的数据结构倒是知之甚少,本文做为redis学习第一篇文章,将会详细阐述redis中的底层数据结构

二：SDS

string做为redis中经常使用对象之一,广泛用于用户信息缓存等场景。当string对象中encoding编码为embstr或raw时都是采用sds做为其底层实现

2.1 SDS结构

源码文件位于redis安装目录src下的sds.h,sds声明了五种头部类型,分别为sdshdr五、sdshdr八、sdshdr1六、sdshdr3二、sdshdr64。根据字符串长度建立不一样头部的sds实例

struct __attribute__ ((__packed__)) sdshdr8 {
    uint8_t len; 
    uint8_t alloc;
    unsigned char flags;
    char buf[];
};
复制代码

属性名称	做用含义
len	字符串长度
alloc	预分配空间大小
flags	低三位用于表示sds类型,能够查看sds.h文件76-82行定义
buf[]	存储字符串用数组

2.2 SDS与C字符串区别

区别	描述
长度计算	c中的字符串长度计算须要数组遍历,可是redis中的sds自身维护了len属性。因此O(1)时间复杂度便可
缓冲区溢出	c中字符串更改若是未提早作好内存分配则会内存溢出,可是sds则会根据alloc与len计算预留内存是否足够分配从新申请内存
动态扩展	缓冲区溢出已经阐述这个概念,sds的内存空间会在字符串内容变动时自动扩展计算。策略为当字符换小于1M时*2翻倍,大于1M时每次扩容1M
惰性释放	与空间预分配类似操做的还有内存惰性释放,即字符串删除某些内容后所占用的内存空间并不会当即释放,后续字符串变动扩展就无需再申请内存

二：ZipList

ziplist能够说把redis对于内存的极致操做体现的淋漓尽致,链表除了节点值以外还须要维护先后节点两个指针,而且还会形成内存碎片。压缩列表紧凑的内存布局,全部节点都维护在整块内存中处理

2.1 ZipList结构

属性名称	做用含义
zlbytes	列表健占用内存的总字节数,在对列表健内存重分配或者是计算zlend的时候使用
zltail	指向压缩列表起始地址的指针
zllen	压缩列表的节点数量
entry	压缩列表保存的节点数据
zlend	压缩列表的尾节点

2.2 Entry节点结构

属性名称	做用含义
previous_entry_length	字节为单位记录上一个节点的长度,若是上一个字节长度小于254占用1字节。大于254占用5字节,第一个字节设置为OxFE(十进制254),后面四个字节储存长度
encoding	记录content记录的数据类型以及长度。长度1、2、五字节,值的最高位为00、0一、10表示类型为字节数组,长度使用除去最高位的其它位记录。11开头表示储存整数,除去最高位其余位置表示content数据长度
content	记录压缩列表记录的数据

2.3 连锁更新

一个压缩列表节点在保存上一个节点长度使用previous_entry_length属性,这个属性可使用1字节或者是5字节。假设现有一个压缩列表里面保存的节点长度所有都是250-253,这时候previous_entry_length使用一字节记录就行。可是这时候添加一个新节点到头节点的位置,刚好这个节点的大小大于254字节,这时候全部后面字节都须要更新,由于他们的previous_entry_length都会变成5字节

三：QuickList

list链表是redis中经常使用对象之一,以前一些版本中底层编码数据采用双向链表、压缩列表的数据结构。可是后续考虑链表指针维护开销以及内存碎片缘由,开发新的数据结构quicklist,这是一个双向链表和压缩列表的混合体

3.1 quicklist图示

3.2 结构描述

typedef struct quicklist {
    quicklistNode *head;
    quicklistNode *tail;
    unsigned long count;
    unsigned long len;          
    int fill : 16;             
    unsigned int compress : 16;
} quicklist;
复制代码

属性名称	做用含义
head	头部节点
tail	尾部节点
count	压缩列表元素数量总数
len	ziplist节点数量
fill	单个ziplist节点的填充因子
compress	不压缩节点的深度

3.3 ziplist节点

quicklist 内部默认单个 ziplist 长度为 8k字节，超出了这个字节数就会新建一个 ziplist。ziplist 的长度由配置参数 list-max-ziplist-size决定

3.4 LZF压缩

快速列表ziplist为了push与pop操做的效率默认首尾节点不进行LZF压缩,若是须要设置更多节点不进行LZF压缩能够经过redis.conf配置文件中1099行list-compress-depth 0参数定义

四：Dict

redis中的hash、set等对象都有使用到字典这个数据结构,字典底层实现使用哈希表的结构。字典中主要掌握它的渐进式hash,结构源码位置位于dict.h文件中

4.1 字典结构

typedef struct dict {
    dictType *type;
    void *privdata;
    dictht ht[2];
    long rehashidx;
} dict;
复制代码

属性名称	做用含义
type	自定义一些操做的方法,拷贝key、拷贝value、销毁key、销毁value等
privdate	建立dict时传入,用于某些特殊操做回传给调用函数
ht	[0]用于数据存储,[1]用于rehash变动
rehashidx	表示rehash进度,-1表示未进行rehash

4.2 哈希表结构

typedef struct dictht {
    dictEntry **table;
    unsigned long size;
    unsigned long sizemask;
    unsigned long used;
} dictht;
复制代码

属性名称	做用含义
table	hash表节点
size	hash表大小
sizemark	哈希表大小掩码,计算索引值。大小等于size -1
used	哈希表已有的节点数量

4.3 哈希表节点结构

typedef struct dictEntry{
    void *key;
    union{
        void *val;
        uint64_tu64;
        int64_ts64;
    }v;
    struct dictEntry *next;
}dictEntry
复制代码

属性名称	做用含义
key	保存数据的key值
union	值对象,能够是一个对象,由于有个对象空指针或者是uint6四、int64的整数
next	指向下一个Entry的指针,造成一个链表

4.4 渐进式rehash

• 字典的rehash操做数据量过大时并非一次完成,而是分批次逐渐进行
• rehash过程当中新插入字典数据放在[1]哈希表中,并将原[0]中数据从新进行hash计算加入[1]中。读操做将会读取[0]、[1]两个哈希表
• rehash过程标志使用dict中属性rehashidx标识
• rehash采用cow写时复制技术

五：Intset

redis中经常使用对象set会用到的底层数据结构

5.1 整数集合特色

• 1：内容全是数字
• 2：内存连续
• 3：元素有序,不可重复

5.2 Intset结构

typedef struct intset{
    uint32_t encoding;
    uint32_t length;
    int8_t contents[];
}intset;
复制代码

属性名称	做用含义
encoding	整数集合能够有三种编码方式1六、3二、64
length	整数集合数组中保存的元素个数
contents	从小到大保存的整数集合中的元素

六：ZipList

zset中用到的一个数据结构,查询快是真的,性能能够和红黑树、AVL树不相上下

6.1 跳跃表结构

typedef struct zskiplist{
    //表头结点和尾节点
    structz skiplistNode *heade,*tail;
    //表中节点数量
    unsigned long length;
    //表中层数最大的节点的层数
    int level;
}zskiplist;
复制代码

属性名称	做用含义
head	跳跃表头结点
tail	跳跃表尾节点
length	跳跃表节点数量,表头结点不记录在里面
level	跳跃表最大层数,不记录表头节点

6.2 跳跃表节点

typedof struct zskiplistNode{
    //层
    struct zskiplistNode{
        //前进指针
        struct zskiplistNode *forward;
        //跨度
        unsihned int span;
    }level[];
    //后退指针
    struct zskiplistNode *backward;
    //分值
    double score；
    //成员对象
    robj *obj;
}zsikplistNode;
复制代码

属性名称	做用含义
zskiplistNode	集合记录该节点位于的每一层
forward	每一层节点对应的下一个节点
span	距离下一个节点须要跨越的层数
backward	后退指针
score	节点分数值
obj	跳跃表节点保存的对象