Redis设计与实现-内部数据结构篇

　　题记：这本书是2015年11月份开始读的，大约花了一个多月的时间通读了一遍，最近因为须要对redis作一些深刻的了解，所以又花了两个多月仔细精读了一遍，因为本书设计的内容较多，且每部分的内容都比较细致，所以在整理读书笔记的时候花了不少时间，但确实也收获了不少，本书是针对redis底层的数据结构部分作的整理。 -----Dimmacro 2016年11月7日18:21:54。

咱们知道redis能够存储字符串、列表、哈希对象、集合、有序集合等五种对象类型，可是在redis内部，根据不一样对象类型的数据特色，有对应的数据结构做为其底层的存储结构，并且即便是同一对象类型，当数据量或数据大小不一样时，为了提供更好的性能及减小内存使用率，也会切换不一样的底层数据结构。所以了解这些底层数据结构对咱们深刻了解redis分布式缓存有很是重要的帮助。

（一）数据结构部分-字符串

1. redis是键值对数据库，每一个键都是字符串对象，而值能够是字符串对象，列表对象，哈希对象，集合对象，有序集合对象五种之一；
2. redis使用sds（simple dynamic string）简单动态字符串来表示最基本的字符串数据，该结构记录了用于保存字符串的字节数组char buf[]、已使用长度int len和未使用长度int free。有点相似于java中的String对象。
3. 此sds利用c字符串做为字面量，并遵循以空字符'\0'做为字符串末尾的C风格，使得其能够直接重用C字符串函数库的部分函数，但相比较于C字符串有如下优势：
• 直接保存字符串长度而不是像C那样须要遍历才能获取长度；
• 经过空间预分配及惰性空间释放来减小因为修改字符串带来的内存重分配。空间预分配是指：当须要扩展字符数组容量时，若是分配后的长度将小于1MB，那么会预分配与当前len长度同样的字节量，若是超过1MB，则会分配1MB。惰性空间释放是指：当缩短sds字符串时，多余出来的字节数组并不回收，而是经过增加free记录起来，这样下次当须要增加到时候若是free自己就够用了，就不须要申请内存了。固然，也有API可调用来主动释放。
• 使用二进制方式处理buf数组，保持二进制数据，所以能够保存除文本数据外的其余格式，如图片，音视频，压缩文件等；
•  
5. 
   

 

（二）数据结构部分-链表linkedlist

1. 链表经过高效的节点重排、顺序访问、增删节点灵活调整期长度等特色，应用于redis中的列表键、发布与订阅、慢查询、监视器等；
2. 链表的数据结构：表头head、表尾tail、节点数量即长度len、节点值复制函数dup、释放函数free、节点值对比函数match；
3. 表中节点数据结构：前置节点prev、后置节点next、节点值value；
4. 链表特色：双端、无环、表头表尾指针、长度计数器、多态（使用void *指针来保存节点值，能够用于保存各类不一样类型的值）

 

（三）数据结构部分-字典hashtable（字典--->哈希表2张--->哈希表数组--->哈希表节点）

1. 字典是redis数据库的底层实现，对数据的增删查改操做都是构建在字典操做上的；
2. 字典dict数据结构：类型特定函数dictType(多态字典)、私有函数void *privdata(类型特定的参数)、哈希表数据dictht ht[2](两个哈希表用于作rehash和渐进式hast)；
3. 哈希表是字典的底层实现，其结构为：dictEntry **table哈希表数组、long size哈希表大小、long sizemask哈希表掩码，用于计算索引值、long used哈希表已有节点数量、int trehashidx rehash是否在进行的标识；
   
4. 哈希表数组的元素是哈希表节点，是保存字典中键值对的地方，即真正保存数据的地方，其结构为：*key键指针、v值、dictEntry *next下个哈希表节点，用于哈希值相同时，将当期值插入到表头，造成列表，解决键冲突问题；
5. 哈希过程：根据键值使用MurmurHash2算法计算哈希值，而后与表掩码取模，获得index做为存放哈希表数组的位置，若是当前index已经有节点了，则在此节点头插入当前节点，造成链表。相似java中map结构put值的过程；
6. rehash的过程：当字典中的哈希表[0]变化的时候，为了让负载因子维持在合理范围，会作rehash操做，其步骤以下：
• 为哈希表[1]分配空间，并根据扩展仍是压缩操做设置其大小，值为2的N次方，扩展值为第一个大于等于ht[0]*used*2的2的n次幂，收缩操做为第一个大于等于ht[0]*used的2的N次幂；
• 将ht[0]中的全部键值rehash到ht[1]上，完成后释放ht[0],并间ht[1]设为ht[0],并从新建立一个空白的ht[1哈希表为下一次rehash作准备；（若是键值量大，会采用渐进式rehash的方式，在此期间会同时使用ht[0]和ht[1]）。

（四）数据结构部分-跳跃表skiplist

1. 跳跃表是一种有序数据结构，经过在每一个节点中维持多个指向其余及节点的指针达到快速访问节点的目的；
2. redis使用跳跃表用做实现有序集合键以及在集群节点中用做内部数据结构

（五）数据结构部分-整数集合intset

1. 用于少许整数的集合，是集合键的底层实现之一；
2. 整数集合intset由encoding编码方式、length包含元素数量、contents元素数组三部分组成，各项在数组contents中按值的大小从小到大有序排列，不包含重复项；
3. 当新添加的元素值大于现有集合encoding制定的范围时引起升级，现有元素所在位数增长；升级操做能够提高存储数据的灵活性，并节约内存；
4.  不支持降级操做

（六）数据结构部分-压缩列表ziplist

1. 压缩列表是一系列特殊编码的连续内存块组成的顺序型数据结构，为节约内存而开发，是列表键和哈希键的底层实现之一；
2. 组成部分：zlbytes：4个字节，记录整个压缩列表占用的内存字节数；zltail4个字节，记录表尾节点距离压缩列表起始地址有多少字节；zllen，2个字节，记录压缩列表包含的节点数量；entryX列表节点；zlend：1个字节，特殊值0xFF用于标记压缩列表的末端；
3. 列表节点由三部分构成：previous_entry_length记录压缩列表中前一个节点的长度，可用于从表尾向表头遍历；encoding记录本节点所保存的数据类型及长度；content保存节点值，能够是字节数组或整数；
4. 当前一节点长度小于254字节，previous_entry_length占1字节，不然占5字节，所以有可能插入一个长度大于254字节的节点到表头是，若是后续节点都介于250到253之间，则可能发生连锁更新，影响性能。不过几率很小。

######以上文字来自Dimmacro，转载请说明来源：http://www.cnblogs.com/dimmacro/ #######