【3y】从零单排学Redis【青铜】

时间 2019-11-07

标签 3y 单排 redis 青铜栏目 Redis 繁體版

原文原文链接

前言

只有光头才能变强git

最近在学Redis，我相信只要是接触过Java开发的都会听过Redis这么一个技术。面试也是很是高频的一个知识点，以前一直都是处于了解阶段。秋招事后这段时间是没有什么压力的，因此打算系统学学Redis，这也算是我从零学习Redis的笔记吧。程序员

本文力求讲清每一个知识点，但愿你们看完能有所收获。github

1、介绍一下Redis

首先，确定是去官网看看官方是怎么介绍Redis的啦。https://redis.io/topics/introduction面试

若是像我同样，英语可能不太好的，可能看不太懂。没事，我们Chrome浏览器能够切换成中文的，中文是咱们的母语，确定没啥压力了。Eumm...redis

读完以后，发现中文也就那样了。算法

一大堆没见过的技术：lua(Lua脚本)、replication(复制)、Redis Sentinel(哨兵)、Redis Cluster(Redis 集群)，固然咱们也会有看得懂的技术：transactions(事务)、different levels of on-disk persistence(数据持久化)、LRU eviction(LRU淘汰机制)..数据库

至少官方介绍Redis的第一句应该是能够很容易看懂："Redis is an open source (BSD licensed),in-memory data structure store, used as a database,cache and message broker."segmentfault

Redis是一个开源的，基于内存的数据结构存储，可用做于数据库、缓存、消息中间件。数组

从官方的解释上，咱们能够知道：Redis是基于内存，支持多种数据结构。
从经验的角度上，咱们能够知道：Redis经常使用做于缓存。

就我我的认为：学习一种新技术，先把握该技术总体的知识(思想)，再扣细节，这样学习起来会比较轻松一些。因此咱们先以“内存”、“数据结构”、“缓存”来对Redis入门。浏览器

1.1为何要用Redis？

从上面可知：Redis是基于内存，经常使用做于缓存的一种技术，而且Redis存储的方式是以key-value的形式。

咱们能够发现这不就是Java的Map容器所拥有的特性吗，那为何还须要Redis呢？

Java实现的Map是本地缓存，若是有多台实例(机器)的话，每一个实例都须要各自保存一份缓存，缓存不具备一致性
Redis实现的是分布式缓存，若是有多台实例(机器)的话，每一个实例都共享一份缓存，缓存具备一致性。
Java实现的Map不是专业作缓存的，JVM内存太大容易挂掉的。通常用作于容器来存储临时数据，缓存的数据随着JVM销毁而结束。Map所存储的数据结构，缓存过时机制等等是须要程序员本身手写的。
Redis是专业作缓存的，能够用几十个G内存来作缓存。Redis通常用做于缓存，能够将缓存数据保存在硬盘中，Redis重启了后能够将其恢复。原生提供丰富的数据结构、缓存过时机制等等简单好用的功能。

参考资料：

为何要用redis而不用map作缓存?https://segmentfault.com/q/1010000009106416

1.2为何要用缓存？

若是咱们的网站出现了性能问题(访问时间慢)，按经验来讲，通常是因为数据库撑不住了。由于通常数据库的读写都是要通过磁盘的，而磁盘的速度能够说是至关慢的(相对内存来讲)

科普文：让 CPU 告诉你硬盘和网络到底有多慢https://zhuanlan.zhihu.com/p/24726196

若是学过Mybaits、Hibernate的同窗就能够知道，它们有一级缓存、二级缓存这样的功能(终究来讲仍是本地缓存)。目的就是为了：不用每次读取的时候，都要查一次数据库。

有了缓存以后，咱们的访问就变成这样了：

2、Redis的数据结构

本文不会讲述命令的使用方式，具体的如何使用可查询API。

Redis 命令参考：http://doc.redisfans.com/
try Redis(不用安装Redis便可体验Redis命令)：http://try.redis.io/

Redis支持丰富的数据结构，经常使用的有string、list、hash、set、sortset这几种。学习这些数据结构是使用Redis的基础！

"Redis is written in ANSI C"-->Redis由C语言编写

首先仍是得声明一下，Redis的存储是以key-value的形式的。Redis中的key必定是字符串，value能够是string、list、hash、set、sortset这几种经常使用的。

但要值得注意的是：Redis并没有直接使用这些数据结构来实现key-value数据库，而是基于这些数据结构建立了一个对象系统。

简单来讲：Redis使用对象来表示数据库中的键和值。每次咱们在Redis数据库中新建立一个键值对时，至少会建立出两个对象。一个是键对象，一个是值对象。

Redis中的每一个对象都由一个redisObject结构来表示：

typedef struct redisObject{
	
	// 对象的类型
	unsigned type 4:;

	// 对象的编码格式
	unsigned encoding:4;

	// 指向底层实现数据结构的指针
	void * ptr;

	//.....


}robj;

简单来讲就是Redis对key-value封装成对象，key是一个对象，value也是一个对象。每一个对象都有type(类型)、encoding(编码)、ptr(指向底层数据结构的指针)来表示。

下面我就来讲一下咱们Redis常见的数据类型：string、list、hash、set、sortset。它们的底层数据结构到底是怎么样的！

2.1SDS简单动态字符串

简单动态字符串(Simple dynamic string,SDS)

Redis中的字符串跟C语言中的字符串，是有点差距的。

Redis使用sdshdr结构来表示一个SDS值：

struct sdshdr{

	// 字节数组，用于保存字符串
	char buf[];

	// 记录buf数组中已使用的字节数量，也是字符串的长度
	int len;

	// 记录buf数组未使用的字节数量
	int free;
}

例子：

2.1.1使用SDS的好处

SDS与C的字符串表示比较

sdshdr数据结构中用len属性记录了字符串的长度。那么获取字符串的长度时，时间复杂度只须要O(1)。
SDS不会发生溢出的问题，若是修改SDS时，空间不足。先会扩展空间，再进行修改！(内部实现了动态扩展机制)。
SDS能够减小内存分配的次数(空间预分配机制)。在扩展空间时，除了分配修改时所必要的空间，还会分配额外的空闲空间(free 属性)。
SDS是二进制安全的，全部SDS API都会以处理二进制的方式来处理SDS存放在buf数组里的数据。

2.2链表

对于链表而言，咱们不会陌生的了。在大学期间确定开过数据结构与算法课程，链表确定是讲过的了。在Java中Linkedxxx容器底层数据结构也是链表+[xxx]的。咱们来看看Redis中的链表是怎么实现的：

使用listNode结构来表示每一个节点：

typedef strcut listNode{

    //前置节点
    strcut listNode  *pre;

    //后置节点
    strcut listNode  *pre;

    //节点的值
    void  *value;

}listNode

使用listNode是能够组成链表了，Redis中使用list结构来持有链表：

typedef struct list{

    //表头结点
    listNode  *head;

    //表尾节点
    listNode  *tail;

    //链表长度
    unsigned long len;

    //节点值复制函数
    void *(*dup) (viod *ptr);

    //节点值释放函数
    void  (*free) (viod *ptr);

    //节点值对比函数
    int (*match) (void *ptr,void *key);

}list

具体的结构如图：

2.2.1Redis链表的特性

Redis的链表有如下特性：

无环双向链表
获取表头指针，表尾指针，链表节点长度的时间复杂度均为O(1)
链表使用void *指针来保存节点值，能够保存各类不一样类型的值

2.3哈希表

声明：《Redis设计与实现》里边有“字典”这么一个概念，我我的认为仍是直接叫哈希表比较通俗易懂。从代码上看：“字典”也是在哈希表基础上再抽象了一层而已。

在Redis中，key-value的数据结构底层就是哈希表来实现的。对于哈希表来讲，咱们也并不陌生。在Java中，哈希表实际上就是数组+链表的形式来构建的。下面咱们来看看Redis的哈希表是怎么构建的吧。

在Redis里边，哈希表使用dictht结构来定义：

typedef struct dictht{
	    
	    //哈希表数组
	    dictEntry **table;  
	
	    //哈希表大小
	    unsigned long size;    
	
	    //哈希表大小掩码，用于计算索引值
	    //老是等于size-1
	    unsigned long sizemark;     
	
	    //哈希表已有节点数量
	    unsigned long used;
	     
	}dictht

咱们下面继续写看看哈希表的节点是怎么实现的吧：

typedef struct dictEntry {
	    
	    //键
	    void *key;
	
	    //值
	    union {
	        void *value;
	        uint64_tu64;
	        int64_ts64;
	    }v;    
	
	    //指向下个哈希节点，组成链表
	    struct dictEntry *next;
	
	}dictEntry;

从结构上看，咱们能够发现：Redis实现的哈希表和Java中实现的是相似的。只不过Redis多了几个属性来记录经常使用的值：sizemark(掩码)、used(已有的节点数量)、size(大小)。

一样地，Redis为了更好的操做，对哈希表往上再封装了一层(参考上面的Redis实现链表)，使用dict结构来表示：

typedef struct dict {

    //类型特定函数
    dictType *type;

    //私有数据
    void *privdata;
  
    //哈希表
    dictht ht[2];

    //rehash索引
    //当rehash不进行时，值为-1
    int rehashidx;  

}dict;


//-----------------------------------

typedef struct dictType{

    //计算哈希值的函数
    unsigned int (*hashFunction)(const void * key);

    //复制键的函数
    void *(*keyDup)(void *private, const void *key);
 
    //复制值得函数
    void *(*valDup)(void *private, const void *obj);  

    //对比键的函数
    int (*keyCompare)(void *privdata , const void *key1, const void *key2)

    //销毁键的函数
    void (*keyDestructor)(void *private, void *key);
 
    //销毁值的函数
    void (*valDestructor)(void *private, void *obj);  

}dictType

因此，最后咱们能够发现，Redis所实现的哈希表最后的数据结构是这样子的：

从代码实现和示例图上咱们能够发现，Redis中有两个哈希表：

ht[0]：用于存放真实的key-vlaue数据
ht[1]：用于扩容(rehash)

Redis中哈希算法和哈希冲突跟Java实现的差很少，它俩差别就是：

Redis哈希冲突时：是将新节点添加在链表的表头。
JDK1.8后，Java在哈希冲突时：是将新的节点添加到链表的表尾。

2.3.1rehash的过程

下面来具体讲讲Redis是怎么rehash的，由于咱们从上面能够明显地看到，Redis是专门使用一个哈希表来作rehash的。这跟Java一次性直接rehash是有区别的。

在对哈希表进行扩展或者收缩操做时，reash过程并非一次性地完成的，而是渐进式地完成的。

Redis在rehash时采起渐进式的缘由：数据量若是过大的话，一次性rehash会有庞大的计算量，这极可能致使服务器一段时间内中止服务。

Redis具体是rehash时这么干的：

(1:在字典中维持一个索引计数器变量rehashidx，并将设置为0，表示rehash开始。
(2:在rehash期间每次对字典进行增长、查询、删除和更新操做时，除了执行指定命令外；还会将ht[0]中rehashidx索引上的值rehash到ht[1]，操做完成后rehashidx+1。
(3:字典操做不断执行，最终在某个时间点，全部的键值对完成rehash，这时将rehashidx设置为-1，表示rehash完成
(4:在渐进式rehash过程当中，字典会同时使用两个哈希表ht[0]和ht[1]，全部的更新、删除、查找操做也会在两个哈希表进行。例如要查找一个键的话，服务器会优先查找ht[0]，若是不存在，再查找ht[1]，诸如此类。此外当执行新增操做时，新的键值对一概保存到ht[1]，再也不对ht[0]进行任何操做，以保证ht[0]的键值对数量只减不增，直至变为空表。

2.4跳跃表(shiplist)

跳跃表(shiplist)是实现sortset(有序集合)的底层数据结构之一！

跳跃表可能对于大部分人来讲不太常见，以前我在学习的时候发现了一篇不错的文章讲跳跃表的，建议你们先去看完下文再继续回来阅读：

漫画算法：什么是跳跃表？http://blog.jobbole.com/111731/

Redis的跳跃表实现由zskiplist和zskiplistNode两个结构组成。其中zskiplist保存跳跃表的信息(表头，表尾节点，长度)，zskiplistNode则表示跳跃表的节点。

按照惯例，咱们来看看zskiplistNode跳跃表节点的结构是怎么样的：

typeof struct zskiplistNode {
        // 后退指针
        struct zskiplistNode *backward;
        // 分值
        double score;
        // 成员对象
        robj *obj;
        // 层
        struct zskiplistLevel {
                // 前进指针
                struct zskiplistNode *forward;
                // 跨度
                unsigned int span;
        } level[];
} zskiplistNode;

zskiplistNode的对象示例图(带有不一样层高的节点)：

示例图以下：

zskiplist的结构以下：

typeof struct zskiplist {
        // 表头节点，表尾节点
        struct skiplistNode *header,*tail;
        // 表中节点数量
        unsigned long length;
        // 表中最大层数
        int level;
} zskiplist;

最后咱们整个跳跃表的示例图以下：

2.5整数集合(intset)

整数集合是set(集合)的底层数据结构之一。当一个set(集合)只包含整数值元素，而且元素的数量很少时，Redis就会采用整数集合(intset)做为set(集合)的底层实现。

整数集合(intset)保证了元素是不会出现重复的，而且是有序的(从小到大排序)，intset的结构是这样子的：

typeof struct intset {
        // 编码方式
        unit32_t encoding;
        // 集合包含的元素数量
        unit32_t lenght;
        // 保存元素的数组
        int8_t contents[];
} intset;

intset示例图：

说明：虽然intset结构将contents属性声明为int8_t类型的数组，但实际上contents数组并不保存任何int8_t类型的值，contents数组的真正类型取决于encoding属性的值：

INTSET_ENC_INT16
INTSET_ENC_INT32
INTSET_ENC_INT64

从编码格式的名字咱们就能够知道，16,32,64编码对应能存放的数字范围是不同的。16明显最少，64明显最大。

若是原本是INTSET_ENC_INT16的编码，想要存放大于INTSET_ENC_INT16编码能存放的整数值，此时就得编码升级(从16升级成32或者64)。步骤以下：

1）根据新元素类型拓展整数集合底层数组的空间并为新元素分配空间。
2）将底层数组现有的因此元素都转换成与新元素相同的类型，并将类型转换后的元素放到正确的位上，须要维持底层数组的有序性质不变。
3）将新元素添加到底层数组。

另一提：只支持升级操做，并不支持降级操做。

2.6压缩列表(ziplist)

压缩列表(ziplist)是list和hash的底层实现之一。若是list的每一个都是小整数值，或者是比较短的字符串，压缩列表(ziplist)做为list的底层实现。

压缩列表(ziplist)是Redis为了节约内存而开发的，是由一系列的特殊编码的连续内存块组成的顺序性数据结构。

压缩列表结构图例以下：

下面咱们看看节点的结构图：

压缩列表从表尾节点倒序遍历，首先指针经过zltail偏移量指向表尾节点，而后经过指向节点记录的前一个节点的长度依次向前遍历访问整个压缩列表。

3、Redis中数据结构的对象

再次看回这张图，觉不以为就很好理解了？

3.1字符串(stirng)对象

在上面的图咱们知道string类型有三种编码格式：

int：整数值，这个整数值可使用long类型来表示
- 若是是浮点数，那就用embstr或者raw编码。具体用哪一个就看这个数的长度了
embstr：字符串值，这个字符串值的长度小于39字节
raw：字符串值，这个字符串值的长度大于39字节

embstr和raw的区别：

raw分配内存和释放内存的次数是两次，embstr是一次
embstr编码的数据保存在一块连续的内存里面

编码之间的转换：

int类型若是存的再也不是一个整数值，则会从int转成raw
embstr是只读的，在修改的时候回从embstr转成raw

3.2列表(list)对象

在上面的图咱们知道list类型有两种编码格式：

ziplist：字符串元素的长度都小于64个字节&&总数量少于512个
linkedlist：字符串元素的长度大于64个字节||总数量大于512个

ziplist编码的列表结构：

redis > RPUSH numbers 1 "three" 5
	(integer) 3

linkedlist编码的列表结构：

编码之间的转换：

本来是ziplist编码的，若是保存的数据长度太大或者元素数量过多，会转换成linkedlist编码的。

3.3哈希(hash)对象

在上面的图咱们知道hash类型有两种编码格式：

ziplist：key和value的字符串长度都小于64字节&&键值对总数量小于512
hashtable：key和value的字符串长度大于64字节||键值对总数量大于512

ziplist编码的哈希结构：

hashtable编码的哈希结构：

编码之间的转换：

本来是ziplist编码的，若是保存的数据长度太大或者元素数量过多，会转换成hashtable编码的。

3.4集合(set)对象

在上面的图咱们知道set类型有两种编码格式：

intset：保存的元素全都是整数&&总数量小于512
hashtable：保存的元素不是整数||总数量大于512

intset编码的集合结构：

hashtable编码的集合结构：

编码之间的转换：

本来是intset编码的，若是保存的数据不是整数值或者元素数量大于512，会转换成hashtable编码的。

3.5有序集合(sortset)对象

在上面的图咱们知道set类型有两种编码格式：

ziplist：元素长度小于64&&总数量小于128
skiplist：元素长度大于64||总数量大于128

ziplist编码的有序集合结构：

skiplist编码的有序集合结构：

有序集合(sortset)对象同时采用skiplist和哈希表来实现：

skiplist可以达到插入的时间复杂度为O(logn)，根据成员查分值的时间复杂度为O(1)

编码之间的转换：

本来是ziplist编码的，若是保存的数据长度大于64或者元素数量大于128，会转换成skiplist编码的。

3.6Redis对象一些细节

(1：服务器在执行某些命令的时候，会先检查给定的键的类型可否执行指定的命令。
- 好比咱们的数据结构是sortset，但你使用了list的命令。这是不对的，服务器会检查一下咱们的数据结构是什么才会进一步执行命令
(2：Redis的对象系统带有引用计数实现的内存回收机制。
- 对象再也不被使用的时候，对象所占用的内存会释放掉
(3：Redis会共享值为0到9999的字符串对象
(4：对象会记录本身的最后一次被访问时间，这个时间能够用于计算对象的空转时间。

最后

本文主要讲了一下Redis经常使用的数据结构，以及这些数据结构的底层设计是怎么样的。总体来讲不会太难，由于这些数据结构咱们在学习的过程当中多多少少都接触过了，《Redis设计与实现》这本书写得也足够通俗易懂。

至于咱们在使用的时候挑选哪些数据结构做为存储，能够简单看看：

string-->简单的key-value
list-->有序列表(底层是双向链表)-->可作简单队列
set-->无序列表(去重)-->提供一系列的交集、并集、差集的命令
hash-->哈希表-->存储结构化数据
sortset-->有序集合映射(member-score)-->排行榜

若是你们有更好的理解方式或者文章有错误的地方还请你们不吝在评论区留言，你们互相学习交流~~~

参考博客：

Redis简明教程http://bridgeforyou.cn/2018/05/19/Redis-Tutorial/
五旬大爷教你一窥redis之谜https://zhuanlan.zhihu.com/p/34762100

参考资料：

《Redis设计与实现》
《Redis实战》

一个坚持原创的Java技术公众号：Java3y，欢迎你们关注

原创技术文章导航：

文章的目录导航(脑图+海量视频资源)：https://github.com/ZhongFuCheng3y/3y