Redis设计与实现第二部分：第9章：单机数据库的实现

时间 2020-07-11

原文原文链接

9.1：服务器中的数据库redis

　　Redis服务器将全部的数据库都保存在服务器状态 redis.h/redisServer 结构的db数组中，db数组的每一个项都是一个 redis.h/redisDb 结构，每一个redisDb结构都是一个数据库：算法

 1 struct redisServer{  2    
 3     //...  4 
 5     //一个数组，保存着服务器中全部的数据库
 6     redisDb *db;  7     
 8     //服务器数据库数量
 9     int dbnum; 10     //...
11 };

　　在初始化数据库时，程序会根据服务器状态的dbnum属性来决定应该建立多少个数据库，dbnum属性的值是由服务器配置的database选项决定，默认状况下，该选项值为16，因此Redis服务器会默认建立16个数据库，以下图所示：　　数据库

9.2 切换数据库数组

　　每一个Redis客户端都有本身的数据库目标，每当客户端执行数据库写命令或者数据库读命令的时候，目标数据库就会成为这些命令的操做对象。服务器

　　默认状况下，Redis客户端的目标数据库为0号数据库，但客户端也能够经过执行 SELECT 命令切换目标数据库。函数

　　在服务器内部，客户端状态 redisClient 结构的db属性记录了客户端当前的目标数据库，这个属性是一个指向redisDb结构的指针。spa

1 typedef struct redisClient{ 2    
3     //... 4 
5     //记录当前客户端正在使用的数据库
6     redisDb *db; 7     
8     //...
9 }redisClient;

　　redisClient.db 指针指向 redisServer.db 数组的其中一个元素，而被指向的元素就是客户端的目标数据库。3d

　　经过修改redisClient.db 指针，让它指向服务器不一样的数据库，从而实现切换目标数据库的功能，这就是SELECT命令的原理。指针

　　备注：Redis没有返回客户端目标数据库的功能。code

9.3 数据库键空间

　　Redis是一个键值对（key-value pair）数据库服务器，服务器中的每一个数据库都是由一个redis.h/redisDb结构表示，其中，redisDb结构的dict字典保存了数据库中的全部键值对，咱们将这个字典称为键空间（key sapce）。

1 typedef struct redisDb{ 2    
3     //... 4 
5     //数据库键空间，保存着数据库中全部的键值对。
6     dict *dict; 7     
8     //...
9 }redisDb;

9.3 读写键空间时的维护操做

　　当使用Redis命令对数据库进行读写操做时，服务器不只会对键空间执行指定的读写操做，还会执行一些额外的操做，其中包括：

　　1. 在读取一个键以后（读操做和写操做都要对键进行读取），服务器都会根据键是否存在来更新服务器键的空间命中（hit）次数或键空间不命中（miss）次数，这两个值能够在INFO stats命令的 keyspace_hits 属性和 keyspace_misses 属性中查看。

　　2. 在读取一个键以后，服务器会更新键的LRU（最后一次使用）时间，这个值能够用于计算键的闲置时间，使用OBJECT idletime<key>命令能够查看键key的闲置时间。

　　3. 若是服务器在读取一个键时，发现这个键已通过期，那么服务器会先删除这个过时键，而后才执行其它操做。

　　4. 若是有客户端使用WATCH 命令监视了某个键，那么服务器在对被监视的键进行修改以后，会将这个过时键标记为脏（dirty），从而让事务程序注意到这个键已经被修改。

　　5. 服务器每次修改一个键后，都会对脏（dirty）键计数器的值增1，这个计数器会触发服务器的持久化已经复制操做。

　　6. 若是服务器开启了数据库通知功能，那么在对键进行修改以后，服务器将按配置发送响应的数据库通知。

9.4 设置键的生存时间或过时时间

　　经过 EXPIRE 命令或者 PEXPIRE 命令，客户端能够以秒或者毫秒精度为数据库中的某个键设置生存时间（Time To Live，TTL），在通过指定的秒数或者毫秒数以后买服务器就会自动删除生存时间为0 的键。

 1 redis> SET key value  2 OK  3 
 4 redis> EXPIRE key 5  5 (integer) 1  6 
 7 redis> GET key //5秒以内  8 "value"  9 
10 redis> GET key //5秒以后 11 (nil)

　　备注：SETEX 命令能够在设置一个字符串键的同时设置该键的过时时间，由于这个命令是一个类型限定命令（只能用于字符串键）。可是 SETEX 命令设置过时时间的原理和 EXPIRE 命令的原理是彻底同样的。

　　与 EXPIRE 命令和 PEXPIRE 命令相似，客户端能够经过 EXPIREAT 命令和 PEXPIREAT 命令以秒或者毫秒精度为数据库中的某个键设置过时时间（expire time）。过时时间是一个 UNIX 时间戳，当键过时时间来临时，服务器就会字典从数据库删除这个键。

　　设置过时时间：

　　Redis有四个不一样耳钉命令能够用于设置键的生存时间（键能够存在多久）或者过时时间（键何时能够删除）：

　　　　1. EXPIRE<key><ttl>命令用于将键key的生存时间设置为 ttl 秒。

　　　　2. PEXPIRE<key><ttl>命令用于将键key的生存时间设置为 ttl 毫秒。

　　　　3. EXPIREAT<key><timestamp>命令用于将键key的过时时间设置为 timestamp 所指定的秒数时间戳。

　　　　4. PEXPIREAT <key><timestamp>命令用于将键key的过时时间设置为 timestamp 所指定的毫秒数时间戳。

　　虽然有不一样单位和不一样形式的设置命令，但实际上 EXPIRE、PEXPIRE、EXPIREAT 三个命令都是使用PEEXPIREAT命令来实现的：不管客户端执行的是以上四个命令的哪个，通过转换时候，最终的执行都和执行 PEXPIREAT 命令。

9.4 保存过时时间

　　redisDb 结构的expires 字典保存了数据库中全部键的过时时间，咱们称这个字典为过时字典。

　　过时字典的键是一个指针，这个指针指向键空间中的某个键对象（也就是某个数据库键）。

　　过时字典的值是一个 long long 类型的整数，这个整数保存了键所指向的数据库键的过时时间————一个毫秒精度的 UNIX 时间戳。

 1 typedef struct redisDb{  2    
 3  //...  4 
 5  //数据库键空间，保存着数据库中全部的键值对。  6  dict *dict;  7     
 8  //过时字典，保存着键的过时时间  9  dict *expires; 10     
11  //... 12 }redisDb;

　　备注：键空间保存了数据库中的全部键值对，而过时字典则保存了数据库键的过时时间。

　　示例：

　　备注：在实际中，键空间的键和过时字典中的键都是指向同一个键对象，因此不会形成内存浪费。

　　移除过时时间：

　　PERSIST 命令能够移除一个键的过时时间。PERSIST 命令就是 PEXPIREAT 命令的反操做：PERSIST 命令命令在过时字典中查找给定的键，并解除键和值（过时时间）在过时字典中的关联。

　　计算并返回剩余时间：

　　TTL 命令以秒为单位返回剪的剩余生存时间，而 PTTL 命令则以毫秒为单位返回键的剩余生存时间。TTL 命令和 PTTL 命令都是经过计算键的过时时间和当前时间之间的差来实现的。

　　过时键的断定：

　　经过过时字典，程序能够经过如下步骤检查一个给定键是否过时：

　　1. 检查给定键是否存在与过时字典，若是存在，那么取得键的过时时间；

　　2. 检查当前 UNIX 时间戳是否大于键的过时时间，若是是的话，那么键已通过期，不然的话，键未过时。

9.5 过时键删除策略

　　数据键的过时时间都保存在过时字典中。若是一个键过时了，那么它何时会被删除呢？

　　三种不一样的删除策略：

　　1. 定时删除（主动删除策略）：在设置键的过时时间的同时，建立一个定时器（timer），让定时器在键过时时间来临时，当即执行对键的删除操做。

　　2. 惰性删除（被动删除策略）：听任键过时无论，可是每次从键空间获取键时，都检查取得的键是否过时，若是过时的话，则删除该键；若是没有，则返回该键。

　　3. 按期删除（主动删除策略）：每隔一段时间，程序就对数据库进行一次检查，删除里面的过时键。置于要删除多少过时键，以及要检查多少数据库，则由算法决定。

　　下面介绍各自删除策略的特色：

　　1. 定时删除：优势：对内存是最友好的，经过使用定时器，定时删除策略能够保证过时键能够尽量快的被删除，并释放过时键所占用的内存；缺点：对CPU时间是不友好的，在过时键比较多的状况下，删除过时键的行为可能占用至关一部分CPU的时间，在内存不紧张可是CPU时间很是紧张额状况下，将CPU时间用在删除和当前任务无关的过时键上，无疑会对服务器的响应时间和吞吐量形成影响。

　　例如，若是正有大量的命令请求正等待服务器处理，而且服务器当前不缺乏内存，那么服务器应该优先将CPU时间用在处理客户端请求上面，而不是用在删除过时键上面。

　　除此以外，建立一个定时器须要用到Redis服务器中的时间事件，而当前时间事件的实现方式——无序链表，查找一个事件的时间复杂度为O(N)，——并不能高效的处理大量时间事件。

　　所以，要让服务器建立大量的定时器，从而实现那定时删除策略，在现阶段不显示。

　　2. 惰性删除：优势：对CPU时间是最友好的，程序只会在取出键时才对键过时检查，这能够保证删除过时的键的操做是在非作不可的状况下进行，而且删除的目标仅限于当前的键，这个策略不会再删除其它的过时键上花费任何CPU时间。缺点：对内存是不友好的，若是一个键已通过期，而这个键仍然保存在数据库中，那么只要这个过时键不删除，它所占用的内存就不会被释放（除非用户手动执行 ELFUSHDB 命令）这能够视为 “内存泄漏” 的一种。

　　3. 按期删除：从上面对定时删除和惰性删除来看，这两种删除方式在单一使用时都有明显的缺陷：a. 定时删除占用太多CPU时间，影响服务器的响应时间和吞吐量。b. 惰性删除浪费太多内存，有内存泄漏的风险。

　　　按期删除策略是前两种策略的一种整合和折中：

　　　a. 按期删除策略每隔一段时间执行一次删除过时键操做，并经过限制删除操做的时长和频率来减小删除操做对CPU的影响。除此以外，经过按期删除过时键，按期删除策略有效的减小了由于过时键而带来的内存浪费。

　　　b. 按期删除策略的难点在于合理的设置删除操做的频率和时长。

9.6 Redis 的过时键删除策略

　　Redis 服务器实际采用的是惰性删除和按期删除两种策略：搭配使用，合理的使用CPU时间和避免浪费内存空间之间取得平衡。

　　惰性策略的实现：

　　过时键的惰性策略由 db.c/expireIfNeeded 函数实现，全部读写数据库的redis命令在执行以前都会调用 expireIfNeeded 函数对输入键进行检查：

　　1. 若是输入键已通过期，那么 expireIfNeeded 函数将输入键从数据库删除；

　　2. 若是输入键没有过时，那么 expireIfNeeded 不作动做；

　　 expireIfNeeded 函数就像一个过滤器，它能够在命令真正执行以前，过滤掉过时输入键，从而避免命令接触到过时键。

　　另外，由于每一个被访问的键都有肯由于过时而被 expireIfNeeded 函数删除，因此每一个命令的实现函数都必须能同时处理键存在和键不存在这两种状况：

　　1.当键存在时，命令按照键存在的状况执行。

　　2.当键不存在或者键由于过时而被 expireIfNeeded 函数删除时，命令按照键不存在的状况执行。

　　举例：GET 命令的执行过程。

　　按期策略的实现：

　　过时键的惰性策略由 redis.c/activeExpireCycle 函数实现，每当Redis的服务器周期性操做 redis.c/activeExpireCycle 函数执行时， redis.c/activeExpireCycle 函数就会被调用，它在规定的时间内，分屡次遍历服务器中的各个数据库，从数据库的 expires 字典中随机检查一部分键的过时时间，并删除其中的过时键。

　　 activeExpireCycle 函数的工做模式能够总结以下：

　　1. 函数每次运行时，都从必定数量的数据库中取出必定数量的随机键进行检查，并删除其中的过时键。

　　2. 全局变量 current_db 会记录当前 activeExpireCycle 函数检查的进度，并在下一次 activeExpireCycle 调用时，接着上一次的进度进行处理。好比说，若是当前 activeExpireCycle 函数在遍历10号数据库返回了，那么下次 activeExpireCycle 函数执行时，将从11号数据库开始查找并删除过时键。

　　3. 随着 activeExpireCycle 函数的不断执行，服务器中的全部数据库都会被检查一遍，这时函数将current_db 变量重置为0，而后再次开始新一轮的检查工做。

9.7 AOF、RDB 和复制功能对过时键的处理

　　生成RDB文件

　　在执行 SAVE 命令或者 BGSAVE 命令建立一个新的 RDB 文件是，程序会对数据库中的键进行检查，已过时的键不会被保存到新建立的 RDB 文件中。