深刻理解Redis跳跃表的基本实现和特性

点赞再看，养成习惯，公众号搜一搜【一角钱技术】关注更多原创技术文章。本文 GitHub org_hejianhui/JavaStudy 已收录，有个人系列文章。html

前言

在这里咱们先回忆一下普通链表的时间复杂度，能够看到除了 look up 操做是 $O(n)$ 的，其余操做都是 $O(1)$ 的时间复杂度。也就是说你须要随机访问里面的任何一个元素的话，它的时间复杂度平均值是 $O(n)$ 的，这也就是链表它的问题所在。从这里能够看到并无所谓完美的一种数据结构，若是完美那就不须要 Array 或者 LInked List 这两个数据结构并存了，就直接使用最牛逼的数据结构便可。因此至关于各有优劣，看你的使用场景在什么地方，做为完整性比较，我这里把两种时间复杂度都列出来。java

Linked List 的时间复杂度 node

Array 的时间复杂度 git

注意：正常状况下数组的 prepend 操做的时间复杂度是 O(n) ，可是能够进行特殊优化到 O(1)。采用的方式是申请稍微大一些的内存空间，而后在数组开始预留一部分空间，而后 prepend 的操做则是把头下标前移一个位置便可。github

跳表 Skip List

前面回顾了 Array 和 Linked List 的两种结构的时间复杂度，有一种状况下链表它的速度在 $O(n)$ 这一块，就会以为不太够用，咱们来看一下这种状况指的是什么？面试

链表元素有序的时候

注意是指整个元素，若是是有序的话，在有些时候，好比在数据库里面也好，或者是在其余对一些有序的树进行查询的时候，即便用链表这种方式存储的话，咱们发现它的元素是有序的，好比说下面这个升序链表，134578910 它是升序排列的，这个时候咱们要快速地查询，好比 9 在什么地方或者查询 5，是否是在这个链表里面出现，这时候你会发现，若是是用普通的数组能够进行二分查找能够很快查到5所在的位置，以及查询到一个元素是否存在。redis

一个有序的数组里面存在，那么问题来了，若是是有序的，可是是链表的状况下应该怎样有效地加速呢？因而在近代1990年先后，一种新的数据结构出现了，它的名字叫作跳表。数据库

跳表的特色

注意：只能用于元素有序的状况。数组

因此，跳表（skip list）对表的是平衡树（AVL Tree）和二分查找，是一种插入/删除/搜索都是 $O(log n)$ 的数据结构。1989 年出现。markdown

无论是平衡树、二叉搜索树其余哪些树的话都是在1960年和196几年就已经出现了，它的出现比平衡树和二分查找以及所谓的一些高级数据结构出现的要晚。比其余的晚了接近30年，最后才出现，这就是为何不少老的数据结构的话，用平衡二叉树会多一点，而一些比较新的，特别是在元素个数很少的状况的状况下，用的所有都是跳表，也就是说在更新换代了。

它的最大优点是原理简单、容易实现、方便扩展、效率更高。所以在一些热门的项目里用来替代平衡树，如 Redis、LevelDB等。

跳跃表（skiplist）是一种随机化的数据，由 William Pugh 在论文《Skip lists: a probabilistic alternative to balanced trees》中提出，跳跃表以有序的方式在层次化的链表中保存元素，效率和平衡树媲美 —— 查找、删除、添加等操做均可以在对数指望时间下完成，而且比起平衡树来讲，跳跃表的实现要简单直观得多。

如何给有序的链表加速

假设有一个有序的链表，1 3 4 5 7 8 9 10 这么一个原始的链表。它的时间复杂度查询确定是 $O(n)$ 的，那么问一下如何优化？如何进行简单优化？可让它的查询时间复杂度变低，也就是加速它的查询。

咱们能够思考一些，若是你来好比说我要很快地查到 7 ，有没有在链表中存在和它的位置在哪儿的话，你可以很是快的查询出来吗？

时间复杂度：查询 O(n)
简单优化：添加头尾指针

上面这么一个结构，它是一维的数据结构，如今它是有序了，也就是说咱们有附加的信息了，那么如何加速对吧？通常来讲这种加速的方式的话，就相似于星际穿越里面这有点玄学，可是你必定要记住一个概念就好了，一维的数据结构要加速的话，常常采用的方式就是升维也就是说变成二维。为何要多一层维度，由于你多了一个维度以后，就会有多一级的信息在里面，这样多一级的信息就能够帮助你能够很快地获得一维里面你必须挨个走才能走到的那些元素

添加第一级索引

如何提升链表线性查找的效率？具体咱们来看上图，在原始链表的状况下，咱们再增长一个维度，也就是在上面再增长一层索引，咱们叫作第一级索引，那么第一级索引的话就不是指向它元素的 next 元素了，而是指向它的 next next ，也就是说你能够理解为 next + 1 就好了，因此第一级索引的话就是第一个元素，立刻第三个元素、第五个元素、第七个元素。

这里你就会发现若是你要找7的话，咱们怎么办？咱们这么查找，先查找第一级索引看有没有1 4 7 ，若是有那就说明 7 存在这个链表里面是存在的，说明咱们查询到了。
咱们再看要查另外一个元素，好比说 8，咱们怎么走？仍是先找第一级，8是大于 1 的，因此后继日后到达 4 索引的值，8 是大于 4的，继续日后到了7，8 也大于7的，再继续日后发现 9 大于 8 了。说明 8 是存在于 7 和 9 这两个索引之间的元素里面的，那么这个时候从第一级元素向下走到原始的链表了，从对应的位置挨个找就会发现 8 找到了，说明 8 也是存在的。

添加第二级索引

那么有的朋友可能就会想了，你加一级索引的话，每次至关于步伐加 2 了，可是它的速度的话也就是比原来稍微快了一点，能不能更快呢？对你这个想法是很是有道理的，也是很好的。

那么在一级索引的基础上，咱们能够再加索引就好了，也就是说同理可得，在第一级索引的基础上，咱们把它看成是一个原始链表同样，往上再加一级索引，也就是说每次针对第一级索引走两步。那么它相等于原始链表至关于每次就走了四步。对不对，就乘于 2，那这样的话，速度就更加高效了。

好比我举个例子要查8，先找 1，8 比 1要大，再找 7 ，这时候你会发现 8 也是比 7 大的，再找，假设这个元素后面的话是 11 或者 12 好了，这时候你会发现 8 是小于它后面的元素，因此 7 这里的话就必须向下再走一级索引了，走到第一级索引的 7 来，再相似于以前 7 和 9 之间，而后再走到8 这样一直走下来。

添加多级索引

以此类推，增长多级索引

假设有五级索引的这么一个原始链表，那么咱们要查一个元素，好比说要查 62 元素或者中间元素，就相似于下图，一级一级一级一级走下来，最后的话就能够查到咱们须要的62这个元素。固然的话你最后查到原始链表，你会发现好比说是咱们要查63或者61，原始链表里面没有，咱们就说元素不存在，在咱们这个有序的链表里面，也就是说在跳表里面查不到这么一个元素，最后也能够得出这样的结论。

跳表查询的时间复杂度分析

跳表的时间复杂度计算

n/二、n/四、n/八、第 k 级索引结点的个数就是 n/(2^k)
假设索引有 h 级，最高级的索引有 2 个结点。n/(2^h) = 2，从而求得 h = log2(n)-1

举一个例子，跳表在查询的时候，假设索引的高度：logn，每层索引遍历的结点个数：3，假设要走到第 8 个节点。

每层要遍历的元素总共是3个，因此这里的话 log28 的话，就是它的时间复杂度。最后的话得出证实出来：时间复杂度为log2n。也就是从最朴素的原始链表的话，它的 O(n) 的时间复杂度降到 log2n 的时间复杂度。这已是一个很大的改进了。假设是1024的话，你会发现原始链表要查1024次最后获得这个元素，那么这里的话就只须要查（2的10次方是1024次）十次这样一个数量级。

现实中跳表的形态

在现实中咱们在用跳表的状况下，它会因为这个元素的增长和删除而致使的它的索引的话，有些数它并非彻底很是工整的，最后通过屡次改动后，它最后索引有些地方会跨几步，有些地方会少只跨两步，这是由于里面的一些元素会被增长和删除了，并且它的维护成本相对较高，也是说当你增长一个元素，你会把它的索引要更新一遍，你要删除一个元素，也须要把它的索引更新一遍。在这种过程当中它在增长和删除的话，它的时间复杂度就会变成 $O(logn)$ 了。

在跳表中查询任意数据的时平均时间复杂度就是 O(logn)。

跳表查询的空间复杂度分析

在这里的话，咱们假设它的长度为 n，而后按照以前的例子，每两个节点抽一个作成一个索引的话，那么它的一级索引为二分之 n 对吧。最后以下：

原始链表大小为 n，每 2 个结点抽 1 个，每层索引的结点数: $\frac{n}{2},\frac{n}{4},\frac{n}{8}...,8,4,2$
原始链表大小为 n，每 3 个结点抽 1 个，每层索引的结点数: $\frac{n}{3},\frac{n}{9},\frac{n}{27}...,9,3,1$
空间复杂度是 $O(n)$

跳跃表的构成

如下是个典型的跳跃表例子：从图中能够看到，跳跃表主要由如下部分构成：

表头（head）：负责维护跳跃表的节点指针。
跳跃表节点：保存着元素值，以及多个层。
层：保存着指向其余元素的指针。高层的指针越过的元素数量大于等于低层的指针，为了提升查找的效率，程序老是从高层先开始访问，而后随着元素值范围的缩小，慢慢下降层次。
表尾：所有由 NULL 组成，表示跳跃表的末尾。

Redis 跳跃表的实现

Redis 的跳跃表由 redis.h/zskiplistNode 和 redis.h/zskiplist 两个结构定义，其中 zskiplistNode 结构用于表示跳跃表节点，而 zskiplist 结构则用于保存跳跃表节点的相关信息，好比节点的数量，以及指向表头节点和表尾节点的指针，等等。上图展现了一个跳跃表示例，位于图片最左边的示 zskiplist 结构，该结构包含如下属性：

header ：指向跳跃表的表头节点。
tail ：指向跳跃表的表尾节点。
level ：记录目前跳跃表内，层数最大的那个节点的层数（表头节点的层数不计算在内）。
length ：记录跳跃表的长度，也便是，跳跃表目前包含节点的数量（表头节点不计算在内）。

位于 zskiplist 结构右方的是四个 zskiplistNode 结构，该结构包含如下属性：

层（level）：节点中用 L1 、 L2 、 L3 等字样标记节点的各个层， L1 表明第一层， L2 表明第二层，以此类推。每一个层都带有两个属性：前进指针和跨度。前进指针用于访问位于表尾方向的其余节点，而跨度则记录了前进指针所指向节点和当前节点的距离。在上面的图片中，连线上带有数字的箭头就表明前进指针，而那个数字就是跨度。当程序从表头向表尾进行遍历时，访问会沿着层的前进指针进行。
后退（backward）指针：节点中用 BW 字样标记节点的后退指针，它指向位于当前节点的前一个节点。后退指针在程序从表尾向表头遍历时使用。
分值（score）：各个节点中的 1.0 、 2.0 和 3.0 是节点所保存的分值。在跳跃表中，节点按各自所保存的分值从小到大排列。
成员对象（obj）：各个节点中的 o1 、 o2 和 o3 是节点所保存的成员对象。

注意：表头节点和其余节点的构造是同样的：表头节点也有后退指针、分值和成员对象，不过表头节点的这些属性都不会被用到，因此图中省略了这些部分，只显示了表头节点的各个层。

跳跃表节点

跳跃表节点的实现由 redis.h/zskiplistNode 结构定义：

typedef struct zskiplistNode {
    // 后退指针
    struct zskiplistNode *backward;
    // 分值
    double score;
    // 成员对象
    robj *obj;
    // 层
    struct zskiplistLevel {
        // 前进指针
        struct zskiplistNode *forward;
        // 跨度
        unsigned int span;
    } level[];
} zskiplistNode;
复制代码

层

跳跃表节点的 level 数组能够包含多个元素，每一个元素都包含一个指向其余节点的指针，程序能够经过这些层来加快访问其余节点的速度，通常来讲，层的数量越多，访问其余节点的速度就越快。

每次建立一个新跳跃表节点的时候，程序都根据幂次定律（power law，越大的数出现的几率越小）随机生成一个介于 1 和 32 之间的值做为 level 数组的大小，这个大小就是层的“高度”。

下图分别展现了三个高度为 1 层、 3 层和 5 层的节点，由于 C 语言的数组索引老是从 0 开始的，因此节点的第一层是 level[0] ，而第二层是 level[1] ，以此类推。

前进指针

每一个层都有一个指向表尾方向的前进指针（level[i].forward 属性），用于从表头向表尾方向访问节点。上图用虚线表示出了程序从表头向表尾方向，遍历跳跃表中全部节点的路径：

迭代程序首先访问跳跃表的第一个节点（表头），而后从第四层的前进指针移动到表中的第二个节点。
在第二个节点时，程序沿着第二层的前进指针移动到表中的第三个节点。
在第三个节点时，程序一样沿着第二层的前进指针移动到表中的第四个节点。
当程序再次沿着第四个节点的前进指针移动时，它碰到一个 NULL ，程序知道这时已经到达了跳跃表的表尾，因而结束此次遍历。

跨度

层的跨度（level[i].span 属性）用于记录两个节点之间的距离：

两个节点之间的跨度越大，它们相距得就越远。
指向 NULL 的全部前进指针的跨度都为 0 ，由于它们没有连向任何节点。

初看上去，很容易觉得跨度和遍历操做有关，但实际上并非这样 —— 遍历操做只使用前进指针就能够完成了，跨度其实是用来计算排位（rank）的：在查找某个节点的过程当中，将沿途访问过的全部层的跨度累计起来，获得的结果就是目标节点在跳跃表中的排位。

举个例子，以下用虚线标记了在跳跃表中查找分值为 3.0 、成员对象为 o3 的节点时，沿途经历的层：查找的过程只通过了一个层，而且层的跨度为 3 ，因此目标节点在跳跃表中的排位为 3 。

再举个例子，以下用虚线标记了在跳跃表中查找分值为 2.0 、成员对象为 o2 的节点时，沿途经历的层：在查找节点的过程当中，程序通过了两个跨度为 1 的节点，所以能够计算出，目标节点在跳跃表中的排位为 2 。

后退指针

节点的后退指针（backward 属性）用于从表尾向表头方向访问节点：跟能够一次跳过多个节点的前进指针不一样，由于每一个节点只有一个后退指针，因此每次只能后退至前一个节点。上图用虚线展现了若是从表尾向表头遍历跳跃表中的全部节点：程序首先经过跳跃表的 tail 指针访问表尾节点，而后经过后退指针访问倒数第二个节点，以后再沿着后退指针访问倒数第三个节点，再以后遇到指向 NULL 的后退指针，因而访问结束。

分值和成员

节点的分值（score 属性）是一个 double 类型的浮点数，跳跃表中的全部节点都按分值从小到大来排序。
节点的成员对象（obj 属性）是一个指针，它指向一个字符串对象，而字符串对象则保存着一个 SDS（简单动态字符串）值。

在同一个跳跃表中，各个节点保存的成员对象必须是惟一的，可是多个节点保存的分值却能够是相同的：分值相同的节点将按照成员对象在字典序中的大小来进行排序，成员对象较小的节点会排在前面（靠近表头的方向），而成员对象较大的节点则会排在后面（靠近表尾的方向）。

举个例子，在下图所示的跳跃表中，三个跳跃表节点都保存了相同的分值 10086.0 ，但保存成员对象 o1 的节点却排在保存成员对象 o2 和 o3 的节点以前，而保存成员对象 o2 的节点又排在保存成员对象 o3 的节点以前，因而可知， o1 、 o2 、 o3 三个成员对象在字典中的排序为 o1 <= o2 <= o3 。

跳跃表

虽然仅靠多个跳跃表节点就能够组成一个跳跃表，以下图所示：但经过使用一个 zskiplist 结构来持有这些节点，程序能够更方便地对整个跳跃表进行处理，好比快速访问跳跃表的表头节点和表尾节点，又或者快速地获取跳跃表节点的数量（也便是跳跃表的长度）等信息，以下所示： zskiplist 结构的定义以下：

typedef struct zskiplist {

    // 表头节点和表尾节点
    struct zskiplistNode *header, *tail;

    // 表中节点的数量
    unsigned long length;

    // 表中层数最大的节点的层数
    int level;

} zskiplist;
复制代码

header 和 tail 指针分别指向跳跃表的表头和表尾节点，经过这两个指针，程序定位表头节点和表尾节点的复杂度为 O(1) 。
经过使用 length 属性来记录节点的数量，程序能够在 O(1) 复杂度内返回跳跃表的长度。
level 属性则用于在 O(1) 复杂度内获取跳跃表中层高最大的那个节点的层数量，注意表头节点的层高并不计算在内。

跳跃表API

列出了跳跃表的全部操做 API 。

函数	做用	时间复杂度
`zslCreate`	建立一个新的跳跃表。	O(1)
`zslFree`	释放给定跳跃表，以及表中包含的全部节点。	O(N) ， `N` 为跳跃表的长度。
`zslInsert`	将包含给定成员和分值的新节点添加到跳跃表中。	平均 O(\log N) ，最坏 O(N) ， `N` 为跳跃表长度。
`zslDelete`	删除跳跃表中包含给定成员和分值的节点。	平均 O(\log N) ，最坏 O(N) ， `N` 为跳跃表长度。
`zslGetRank`	返回包含给定成员和分值的节点在跳跃表中的排位。	平均 O(\log N) ，最坏 O(N) ， `N` 为跳跃表长度。
`zslGetElementByRank`	返回跳跃表在给定排位上的节点。	平均 O(\log N) ，最坏 O(N) ， `N` 为跳跃表长度。
`zslIsInRange`	给定一个分值范围（range），好比 `0` 到 `15` ， `20` 到 `28` ，诸如此类，若是给定的分值范围包含在跳跃表的分值范围以内，那么返回 `1` ，不然返回 `0` 。	经过跳跃表的表头节点和表尾节点，这个检测能够用 O(1) 复杂度完成。
`zslFirstInRange`	给定一个分值范围，返回跳跃表中第一个符合这个范围的节点。	平均 O(\log N) ，最坏 O(N) 。 `N` 为跳跃表长度。
`zslLastInRange`	给定一个分值范围，返回跳跃表中最后一个符合这个范围的节点。	平均 O(\log N) ，最坏 O(N) 。 `N` 为跳跃表长度。
`zslDeleteRangeByScore`	给定一个分值范围，删除跳跃表中全部在这个范围以内的节点。	O(N) ， `N` 为被删除节点数量。
`zslDeleteRangeByRank`	给定一个排位范围，删除跳跃表中全部在这个范围以内的节点。	O(N) ， `N` 为被删除节点数量。

面试：为啥 redis 使用跳表(skiplist)而不是使用 red-black？

skiplist的复杂度和红黑树同样，并且实现起来更简单。
在并发环境下skiplist有另一个优点，红黑树在插入和删除的时候可能须要作一些rebalance的操做，这样的操做可能会涉及到整个树的其余部分，而skiplist的操做显然更加局部性一些，锁须要盯住的节点更少，所以在这样的状况下性能好一些。

具体能够参考Herb Sutter写的Choose Concurrency-Friendly Data Structures.

另外这篇论文里有更详细的说明和对比，page50~53： www.cl.cam.ac.uk/research/sr…

附：开发者说的为何选用skiplist The Skip list

There are a few reasons:

They are not very memory intensive. It's up to you basically. Changing parameters about the probability of a node to have a given number of levels will make then less memory intensive than btrees.

A sorted set is often target of many ZRANGE or ZREVRANGE operations, that is, traversing the skip list as a linked list. With this operation the cache locality of skip lists is at least as good as with other kind of balanced trees.

They are simpler to implement, debug, and so forth. For instance thanks to the skip list simplicity I received a patch (already in Redis master) with augmented skip lists implementing ZRANK in O(log(N)). It required little changes to the code.

About the Append Only durability & speed, I don't think it is a good idea to optimize Redis at cost of more code and more complexity for a use case that IMHO should be rare for the Redis target (fsync() at every command). Almost no one is using this feature even with ACID SQL databases, as the performance hint is big anyway.

About threads: our experience shows that Redis is mostly I/O bound. I'm using threads to serve things from Virtual Memory. The long term solution to exploit all the cores, assuming your link is so fast that you can saturate a single core, is running multiple instances of Redis (no locks, almost fully scalable linearly with number of cores), and using the "Redis Cluster" solution that I plan to develop in the future.

总结

跳跃表是有序集合的底层实现之一，除此以外它在 Redis 中没有其余应用。
Redis 的跳跃表实现由 zskiplist 和 zskiplistNode 两个结构组成，其中 zskiplist 用于保存跳跃表信息（好比表头节点、表尾节点、长度），而 zskiplistNode 则用于表示跳跃表节点。
每一个跳跃表节点的层高都是 1 至 32 之间的随机数。
在同一个跳跃表中，多个节点能够包含相同的分值，但每一个节点的成员对象必须是惟一的。
跳跃表中的节点按照分值大小进行排序，当分值相同时，节点按照成员对象的大小进行排序。

参考资料

跳跃表

文章持续更新，能够公众号搜一搜「一角钱技术」第一时间阅读，本文 GitHub org_hejianhui/JavaStudy 已经收录，欢迎 Star。