Redis 数据库、键过时的实现

原文地址：www.xilidou.com/2018/03/20/…

以前的文章讲解了 Redis 的数据结构，这回就能够看看做为内存数据库，Redis 是怎么存储数据的。以及键是怎么过时的。

阅读这篇文章你将会了解到：

• Redis 的数据库实现
• Redis 键过时的策略

数据库的实现

咱们先看代码 server.h/redisServer

struct redisServer{
    ...

    //保存 db 的数组
    redisDb *db;
    
    //db 的数量
    int dbnum;

    ...
}

复制代码

再看redisDb的代码：

typedef struct redisDb {
    dict *dict;                 /* The keyspace for this DB */
    dict *expires;              /* Timeout of keys with a timeout set */
    dict *blocking_keys;        /* Keys with clients waiting for data (BLPOP)*/
    dict *ready_keys;           /* Blocked keys that received a PUSH */
    dict *watched_keys;         /* WATCHED keys for MULTI/EXEC CAS */
    int id;                     /* Database ID */
    long long avg_ttl;          /* Average TTL, just for stats */
} redisDb;

复制代码

整体来讲redis的 server 包含若干个（默认16个） redisDb 数据库。

Redis 是一个 k-v 存储的键值对数据库。其中字典 dict 保存了数据库中的全部键值对，这个地方叫作 keyspace 直译过来就是“键空间”。

因此咱们就能够这么认为，在 redisDb 中咱们使用 dict（字典）来维护键空间。

• keyspace 的 kay 是数据库的 key，每个key 是一个字符串对象。注意不是字符串，而是字符串对象。

• keyspace 的 value 是数据库的 value，这个 value 能够是 redis 的，字符串对象，列表对象，哈希表对象，集合对象或者有序对象中的一种。

数据库读写操做

因此对于数据的增删改查，就是对 keyspace 这个大 map 的增删改查。

当咱们执行：

>redis SET mobile "13800000000"
复制代码

实际上就是为 keyspace 增长了一个 key 是包含字符串“mobile”的字符串对象，value 为包含字符“13800000000”的字符串对象。

看图：

对于删改查，没啥好说的。相似java 的 map 操做，大多数程序员应该都能理解。

须要特别注意的是，再执行对键的读写操做的时候，Redis 还要作一些额外的维护动做：

• 维护 hit 和 miss 两个计数器。用于统计 Redis 的缓存命中率。
• 更新键的 LRU 时间，记录键的最后活跃时间。
• 若是在读取的时候发现键已通过期，Redis 先删除这个过时的键而后再执行余下操做。
• 若是有客户对这个键执行了 WATCH 操做，会把这个键标记为 dirty，让事务注意到这个键已经被改过。
• 没修改一次 dirty 会增长1。
• 若是服务器开启了数据库通知功能，键被修改以后，会按照配置发送通知。

键的过时实现

Redis 做为缓存使用最主要的一个特性就是能够为键值对设置过时时间。就看看 Redis 是若是实现这一个最重要的特性的？

在 Redis 中与过时时间有关的命令

• EXPIRE 设置 key 的存活时间单位秒
• EXPIREAT 设置 key 的过时时间点单位秒
• PEXPIRE 设置 key 的存活时间单位毫秒
• PEXPIREAT 设置 key 的过时时间点单位毫秒

其实这些命令，底层的命令都是由 REXPIREAT 实现的。

在 redisDb 中使用了 dict *expires，来存储过时时间的。其中 key 指向了 keyspace 中的 key（c 语言中的指针）， value 是一个 long long 类型的时间戳，标定这个 key 过时的时间点，单位是毫秒。

若是咱们为上文的 mobile 增长一个过时时间。

>redis PEXPIREAT mobile 1521469812000
复制代码

这个时候就会在过时的 字典中增长一个键值对。以下图：

对于过时的判断逻辑就很简单：

1. 在 字典 expires 中 key 是否存在。
2. 若是 key 存在，value 的时间戳是否小于当前系统时间戳。

接下来就须要讨论一下过时的键的删除策略。

key的删除有三种策略：

1. 定时删除，Redis定时的删除内存里面全部过时的键值对，这样可以保证内存友好，过时的key都会被删除，可是若是key的数量不少，一次删除须要CPU运算，CPU不友好。
2. 惰性删除，只有 key 在被调用的时候才去检查键值对是否过时，可是会形成内存中存储大量的过时键值对，内存不友好，可是极大的减轻CPU 的负担。
3. 定时部分删除，Redis定时扫描过时键，可是只删除部分，至于删除多少键，根据当前 Redis 的状态决定。

这三种策略就是对时间和空间有不一样的倾向。Redis为了平衡时间和空间，采用了后两种策略 惰性删除和定时部分删除。

惰性删除比较简单，不作过多介绍。主要讨论一下定时部分删除。

过时键的定时删除的策略由 expire.c/activeExpireCycle() 函数实现，server.c/serverCron() 定时的调用 activieExpireCycle() 。

activeExpireCycle 的大的操做原则是，若是过时的key比较少，则删除key的数量也比较保守，若是，过时的键多，删除key的策略就会很激进。

static unsigned int current_db = 0; /* Last DB tested. */
static int timelimit_exit = 0;      /* Time limit hit in previous call? */
static long long last_fast_cycle = 0; /* When last fast cycle ran. */
复制代码

• 首先三个 static 全局参数分别记录目前遍历的 db下标，上一次删除是不是超时退出的，上一次快速操做是何时进行的。

• 计算 timelimit = 1000000*ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/server.hz/100; 能够理解为 25% 的 cpu 时间。

• 若是 db 中 expire 的大小为0 不操做

• expire 占总 key 小于 1% 不操做

• num = dictSize(db->expires)；num 是 expire 使用的key的数量。

• slots = dictSlots(db->expires); slots 是 expire 字典的尺寸大小。

• 已使用的key（num） 大于 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP 则设置为 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP。也就是说每次只检查 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP 个键。

• 随机获取带过时的 key。计算是否过时，若是过时就删除。

• 而后各类统计，包括删除键的次数，平均过时时间。

• 每遍历十六次，计算操做时间，若是超过 timelimit 结束返回。

• 若是删除的过时键大于 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP 的 1\4 就跳出循环，结束。

步骤比较复杂，总结一下：（这里都是以默认配置描述）

1. redis 会用最多 25% 的 cpu 时间处理键的过时。
2. 遍历全部的 redisDb
3. 在每一个 redisDb 中若是数据中没有过时键或者过时键比例太低就直接进入下一个 redisDb。
4. 不然，遍历 redisDb 中的过时键，若是删除的键达到有过时时间的的key 的25% ，或者操做时间大于 cpu 时间的 25% 就结束当前循环，进入下一个redisDb。

后记

这篇文章主要解释了 Redis 的数据库是怎么实现的，同时介绍了 Redis 处理过时键的逻辑。看 Redis 的代码越多愈加现，实际上 Redis 一直在作的一件事情就是平衡，一直在平衡程序的空间和时间。其实平时的业务设计，就是在宏观上平衡，平衡系统的时间和空间。因此我想说的是，看源码是让咱们从微观学习系统架构，是每一位架构师的必经之路。你们加油。

我以前的三篇关于 Redis 的基础数据结构连接地址，欢迎你们阅读。

Redis 的基础数据结构（一） 可变字符串、链表、字典

Redis 的基础数据结构（二） 整数集合、跳跃表、压缩列表

Redis 的基础数据结构（三）对象

欢迎关注个人微信公众号：