探索Redis设计与实现9：数据库redisDb与键过时删除策略

本文转自互联网

本系列文章将整理到我在GitHub上的《Java面试指南》仓库，更多精彩内容请到个人仓库里查看

https://github.com/h2pl/Java-Tutorial 喜欢的话麻烦点下Star哈

文章首发于个人我的博客：

www.how2playlife.com 本文是微信公众号【Java技术江湖】的《探索Redis设计与实现》其中一篇，本文部份内容来源于网络，为了把本文主题讲得清晰透彻，也整合了不少我认为不错的技术博客内容，引用其中了一些比较好的博客文章，若有侵权，请联系做者。

该系列博文会告诉你如何从入门到进阶，Redis基本的使用方法，Redis的基本数据结构，以及一些进阶的使用方法，同时也须要进一步了解Redis的底层数据结构，再接着，还会带来Redis主从复制、集群、分布式锁等方面的相关内容，以及做为缓存的一些使用方法和注意事项，以便让你更完整地了解整个Redis相关的技术体系，造成本身的知识框架。

若是对本系列文章有什么建议，或者是有什么疑问的话，也能够关注公众号【Java技术江湖】联系做者，欢迎你参与本系列博文的创做和修订。

一. 数据库 Redis的数据库使用字典做为底层实现，数据库的增、删、查、改都是构建在字典的操做之上的。 redis服务器将全部数据库都保存在服务器状态结构redisServer(redis.h/redisServer)的db数组（应该是一个链表）里：

struct redisServer { //.. // 数据库数组，保存着服务器中全部的数据库 redisDb *db; //.. } 在初始化服务器时，程序会根据服务器状态的dbnum属性来决定应该建立多少个数据库：

struct redisServer { // .. //服务器中数据库的数量 int dbnum; //.. } dbnum属性的值是由服务器配置的database选项决定的，默认值为16；

2、切换数据库原理 每一个Redis客户端都有本身的目标数据库，每当客户端执行数据库的读写命令时，目标数据库就会成为这些命令的操做对象。

127.0.0.1:6379> set msg 'Hello world' OK 127.0.0.1:6379> get msg "Hello world" 127.0.0.1:6379> select 2 OK 127.0.0.1:6379[2]> get msg (nil) 127.0.0.1:6379[2]> 在服务器内部，客户端状态redisClient结构(redis.h/redisClient)的db属性记录了客户端当前的目标数据库，这个属性是一个指向redisDb结构(redis.h/redisDb)的指针：

typedef struct redisClient { //.. // 客户端当前正在使用的数据库 redisDb *db; //.. } redisClient; redisClient.db指针指向redisServer.db数组中的一个元素，而被指向的元素就是当前客户端的目标数据库。 咱们就能够经过修改redisClient指针，让他指向服务器中的不一样数据库，从而实现切换数据库的功能–这就是select命令的实现原理。 实现代码：

int selectDb(redisClient *c, int id) { // 确保 id 在正确范围内 if (id < 0 || id >= server.dbnum) return REDIS_ERR; // 切换数据库（更新指针） c->db = &server.db[id]; return REDIS_OK; } 3、数据库的键空间 一、数据库的结构（咱们只分析键空间和键过时时间） typedef struct redisDb { // 数据库键空间，保存着数据库中的全部键值对 dict dict; / The keyspace for this DB */ // 键的过时时间，字典的键为键，字典的值为过时事件 UNIX 时间戳 dict expires; / Timeout of keys with a timeout set / // 数据库号码 int id; / Database ID / // 数据库的键的平均 TTL ，统计信息 long long avg_ttl; / Average TTL, just for stats */ //.. } redisDb

上图是一个RedisDb的示例，该数据库存放有五个键值对，分别是sRedis，INums，hBooks，SortNum和sNums，它们各自都有本身的值对象，另外，其中有三个键设置了过时时间，当前数据库是服务器的第0号数据库。如今，咱们就从源码角度分析这个数据库结构： 咱们知道，Redis是一个键值对数据库服务器，服务器中的每个数据库都是一个redis.h/redisDb结构，其中，结构中的dict字典保存了数据库中全部的键值对，咱们就将这个字典成为键空间。 Redis数据库的数据都是以键值对的形式存在，其充分利用了字典高效索引的特色。 a、键空间的键就是数据库中的键，通常都是字符串对象； b、键空间的值就是数据库中的值，能够是5种类型对象（字符串、列表、哈希、集合和有序集合）之一。 数据库的键空间结构分析完了，咱们先看看数据库的初始化。

二、键空间的初始化 在redis.c中，咱们能够找到键空间的初始化操做：

//建立并初始化数据库结构 for (j = 0; j < server.dbnum; j++) { // 建立每一个数据库的键空间 server.db[j].dict = dictCreate(&dbDictType,NULL); // ... // 设定当前数据库的编号 server.db[j].id = j; } 初始化以后就是对键空间的操做了。

三、键空间的操做 我先把一些常见的键空间操做函数列出来：

// 从数据库中取出键key的值对象，若不存在就返回NULL robj *lookupKey(redisDb *db, robj *key);

/* 先删除过时键，以读操做的方式从数据库中取出指定键对应的值对象

• 并根据是否成功找到值，更新服务器的命中或不命中信息,
• 如不存在则返回NULL，底层调用lookupKey函数 */ robj *lookupKeyRead(redisDb *db, robj *key);

/* 先删除过时键，以写操做的方式从数据库中取出指定键对应的值对象

• 如不存在则返回NULL，底层调用lookupKey函数，
• 不会更新服务器的命中或不命中信息 */ robj *lookupKeyWrite(redisDb *db, robj *key);

/* 先删除过时键，以读操做的方式从数据库中取出指定键对应的值对象

• 如不存在则返回NULL，底层调用lookupKeyRead函数
• 此操做须要向客户端回复 */ robj *lookupKeyReadOrReply(redisClient *c, robj *key, robj *reply);

/* 先删除过时键，以写操做的方式从数据库中取出指定键对应的值对象

• 如不存在则返回NULL，底层调用lookupKeyWrite函数
• 此操做须要向客户端回复 */ robj *lookupKeyWriteOrReply(redisClient *c, robj *key, robj *reply);

/* 添加元素到指定数据库 */ void dbAdd(redisDb *db, robj *key, robj val); / 重写指定键的值 */ void dbOverwrite(redisDb *db, robj *key, robj val); / 设定指定键的值 */ void setKey(redisDb *db, robj *key, robj val); / 判断指定键是否存在 */ int dbExists(redisDb *db, robj key); / 随机返回数据库中的键 */ robj *dbRandomKey(redisDb db); / 删除指定键 */ int dbDelete(redisDb *db, robj key); / 清空全部数据库，返回键值对的个数 / long long emptyDb(void(callback)(void)); 下面我选取几个比较典型的操做函数分析一下：

查找键值对函数–lookupKey robj *lookupKey(redisDb *db, robj *key) { // 查找键空间 dictEntry *de = dictFind(db->dict,key->ptr); // 节点存在 if (de) { // 取出该键对应的值 robj *val = dictGetVal(de); // 更新时间信息 if (server.rdb_child_pid == -1 && server.aof_child_pid == -1) val->lru = LRU_CLOCK(); // 返回值 return val; } else { // 节点不存在 return NULL; } }

添加键值对–dbAdd 添加键值对使咱们常用到的函数，底层由dbAdd()函数实现，传入的参数是待添加的数据库，键对象和值对象，源码以下：

void dbAdd(redisDb *db, robj *key, robj *val) { // 复制键名 sds copy = sdsdup(key->ptr); // 尝试添加键值对 int retval = dictAdd(db->dict, copy, val); // 若是键已经存在，那么中止 redisAssertWithInfo(NULL,key,retval == REDIS_OK); // 若是开启了集群模式，那么将键保存到槽里面 if (server.cluster_enabled) slotToKeyAdd(key); }

好了，关于键空间操做函数就分析到这，其余函数(在文件db.c中)你们能够本身去分析，有问题的话能够回帖，咱们能够一块儿讨论！

4、数据库的过时键操做 在前面咱们说到，redisDb结构中有一个expires指针（概况图能够看上图），该指针指向一个字典结构，字典中保存了全部键的过时时间，该字典称为过时字典。 过时字典的初始化：

// 建立并初始化数据库结构 for (j = 0; j < server.dbnum; j++) { // 建立每一个数据库的过时时间字典 server.db[j].expires = dictCreate(&keyptrDictType,NULL); // 设定当前数据库的编号 server.db[j].id = j; // .. }

a、过时字典的键是一个指针，指向键空间中的某一个键对象（就是某一个数据库键）； b、过时字典的值是一个long long类型的整数，这个整数保存了键所指向的数据库键的时间戳–一个毫秒精度的unix时间戳。 下面咱们就来分析过时键的处理函数：

一、过时键处理函数 设置键的过时时间–setExpire() /*

将键 key 的过时时间设为 when */ void setExpire(redisDb *db, robj *key, long long when) { dictEntry *kde, *de; // 从键空间中取出键key kde = dictFind(db->dict,key->ptr); // 若是键空间找不到该键，报错 redisAssertWithInfo(NULL,key,kde != NULL); // 向过时字典中添加该键 de = dictReplaceRaw(db->expires,dictGetKey(kde)); // 设置键的过时时间 // 这里是直接使用整数值来保存过时时间，不是用 INT 编码的 String 对象 dictSetSignedIntegerVal(de,when); } 获取键的过时时间–getExpire() long long getExpire(redisDb *db, robj *key) { dictEntry *de; // 若是过时键不存在，那么直接返回 if (dictSize(db->expires) == 0 || (de = dictFind(db->expires,key->ptr)) == NULL) return -1; redisAssertWithInfo(NULL,key,dictFind(db->dict,key->ptr) != NULL); // 返回过时时间 return dictGetSignedIntegerVal(de); }

删除键的过时时间–removeExpire() // 移除键 key 的过时时间 int removeExpire(redisDb *db, robj *key) { // 确保键带有过时时间 redisAssertWithInfo(NULL,key,dictFind(db->dict,key->ptr) != NULL); // 删除过时时间 return dictDelete(db->expires,key->ptr) == DICT_OK; }

二、过时键删除策略 经过前面的介绍，你们应该都知道数据库键的过时时间都保存在过时字典里，那假如一个键过时了，那么这个过时键是何时被删除的呢？如今来看看redis的过时键的删除策略： a、定时删除：在设置键的过时时间的同时，建立一个定时器，在定时结束的时候，将该键删除； b、惰性删除：听任键过时无论，在访问该键的时候，判断该键的过时时间是否已经到了，若是过时时间已经到了，就执行删除操做； c、按期删除：每隔一段时间，对数据库中的键进行一次遍历，删除过时的键。 其中定时删除能够及时删除数据库中的过时键，并释放过时键所占用的内存，可是它为每个设置了过时时间的键都开了一个定时器，使的cpu的负载变高，会对服务器的响应时间和吞吐量形成影响。 惰性删除有效的克服了定时删除对CPU的影响，可是，若是一个过时键很长时间没有被访问到，且若存在大量这种过时键时，势必会占用很大的内存空间，致使内存消耗过大。 定时删除能够算是上述两种策略的折中。设定一个定时器，每隔一段时间遍历数据库，删除其中的过时键，有效的缓解了定时删除对CPU的占用以及惰性删除对内存的占用。 在实际应用中，Redis采用了惰性删除和定时删除两种策略来对过时键进行处理，上面提到的lookupKeyWrite等函数中就利用到了惰性删除策略，定时删除策略则是在根据服务器的例行处理程序serverCron来执行删除操做，该程序每100ms调用一次。

惰性删除函数–expireIfNeeded() 源码以下：

/* 检查key是否已通过期，若是是的话，将它从数据库中删除

并将删除命令写入AOF文件以及附属节点(主从复制和AOF持久化相关) 返回0表明该键尚未过时，或者没有设置过时时间 返回1表明该键由于过时而被删除 */ int expireIfNeeded(redisDb *db, robj *key) { // 获取该键的过时时间 mstime_t when = getExpire(db,key); mstime_t now; // 该键没有设定过时时间 if (when < 0) return 0; // 服务器正在加载数据的时候，不要处理 if (server.loading) return 0; // lua脚本相关 now = server.lua_caller ? server.lua_time_start : mstime(); // 主从复制相关，附属节点不主动删除key if (server.masterhost != NULL) return now > when; // 该键尚未过时 if (now <= when) return 0; // 删除过时键 server.stat_expiredkeys++; // 将删除命令传播到AOF文件和附属节点 propagateExpire(db,key); // 发送键空间操做时间通知 notifyKeyspaceEvent(NOTIFY_EXPIRED, "expired",key,db->id); // 将该键从数据库中删除 return dbDelete(db,key); } 按期删除策略 过时键的按期删除策略由redis.c/activeExpireCycle()函数实现，服务器周期性地操做redis.c/serverCron()（每隔100ms执行一次）时，会调用activeExpireCycle()函数，分屡次遍历服务器中的各个数据库，从数据库中的expires字典中随机检查一部分键的过时时间，并删除其中的过时键。 删除过时键的操做由activeExpireCycleTryExpire函数(activeExpireCycle()调用了该函数)执行，其源码以下：

/* 检查键的过时时间，如过时直接删除*/ int activeExpireCycleTryExpire(redisDb *db, dictEntry *de, long long now) { // 获取过时时间 long long t = dictGetSignedIntegerVal(de); if (now > t) { // 执行到此说明过时 // 建立该键的副本 sds key = dictGetKey(de); robj *keyobj = createStringObject(key,sdslen(key)); // 将删除命令传播到AOF和附属节点 propagateExpire(db,keyobj); // 在数据库中删除该键 dbDelete(db,keyobj); // 发送事件通知 notifyKeyspaceEvent(NOTIFY_EXPIRED, "expired",keyobj,db->id); // 临时键对象的引用计数减1 decrRefCount(keyobj); // 服务器的过时键计数加1 // 该参数影响每次处理的数据库个数 server.stat_expiredkeys++; return 1; } else { return 0; } }

删除过时键对AOF、RDB和主从复制都有影响，等到了介绍相关功能时再讨论。 今天就先到这里~