redis笔记-数据库之过时键删除策略

2016-1-7 by Atlas

---

基础指令篇提到过EXPIRE、PEXPIRE、EXPIREAT、PEXPIREAT四个过时键的命令，表达过时键删除策略前先重温一下这个四个命令的详细过程。

* 设置过时时间

• EXPIRE ---转换成---> PEXPIRE

def EXPIRE(key,ttl_in_sec):
        // 将TTL从秒转换成毫秒
        ttl_in_ms = sec_to_ms(ttl_in_sec)
        // 调用PEXPIRE
        PEXPIRE(key,ttl_in_ms)

• PEXPIRE ---转换成---> PEXPIREAT

def PEXPIRE(key,ttl_in_ms):
        // 获取以毫秒计算的当前UNIX时间戳
        now_ms = get_current_unix_timestamp_in_ms()
        // 当前时间加上TTL，得出毫秒格式的键过时时间
        PEXPIREAT(key,now_ms+tll_in_ms)

• EXPIREAT ---转换成---> PEXPIREAT

def EXPIREAT(key,expire_time_in_sec):
        // 将过时时间从秒转换成毫秒
        expire_time_in_ms = sec_to_ms(expire_time_in_sec)
        // 调用PEXPIREAT
        PEXPIREAT(key,expire_time_in_ms)

EXPIRE、PEXPIRE、EXPIREAT都适配成PEXPIREAT，由PEXPIREAT函数具体实现键的过时操做。

def PEXPIREAT(key,expire_time_in_ms):
        // 若是给定的键不存在于键空间，那么不能设置过时时间
        if key not in redisDb.dict:
                return 0
        // 在过时字典中关联键和过时时间
        redisDb.expires[key} = expire_time_in_ms
        // 过时时间设置成功
        return 1

* 过时键删除策略

redis默认删除策略组合是（惰性删除 + 按期删除）。

• 定时删除

策略：在设置键的过时时间的同时，建立一个定时器，让定时器在键的过时时间来临时，当即执行对键的删除操做。
优势：对内存友好，保证过时键会尽量快地被删除，并释放过时键所占用的内存。
缺点：对CPU时间不友好，占用太多CPU时间，影响服务器的响应时间和吞吐量。

• 惰性删除

策略：听任过时键无论，每次从键空间读写操做时，都检查键是否过时，若是过时，删除该键，若是没有过时，返回该键。
优势：对CPU时间友好，读写操做键时才对键进行过时检查，删除过时键的操做只会在非作不可的状况下进行。
缺点：对内存不友好，只要键不删除，就不会释放内存，浪费太多内存，有内存泄漏风险。
实现：全部读写数据库的redis命令在执行前都会调用expireIfNeeded函数对输入键进行检查，若是输入键已通过期，那么expireIfNeeded函数就将过时键删除；若是输入键未过时，那么expireIfNeeded函数不做为。

• 按期删除

策略：对定时删除策略和惰性删除策略的一种整合和折中。每隔一段时间执行一次删除过时键操做，并经过限制删除操做执行的时长和频率来减小删除操做对CPU时间的影响；经过按期删除过时键，有效减小了由于过时键而带来的内存浪费。
难点：肯定删除操做执行的时长和频率。执行太频繁，执行时间过长，就会退化成定时删除策略；执行得太少，执行时间过短，又会和惰性删除策略同样存在内存浪费的状况。
redis服务器使用惰性删除和按期删除两种策略，经过配合使用，很好地在合理使用CPU时间和避免浪费内存之间取得平衡。
实现：
1）在规定的时间内，分屡次遍历服务器中的各个数据库；
2）从数据库的expires字典中随机检查一部分键的过时时间；
3）删除其中的过时键。
伪代码：

# 默认每次检查的数据库数量
DEFAULT_DB_NUMBERS = 16
# 默认每一个数据检查的键数量
DEFAULT_KEY_NUMBERS = 20
# 全局变量，记录检查进度
current_db = 0
def activeExpireCycle():
        # 初始化要检查的数据库数量
        # 若是服务器的数据库数量比DEFAULT_DB_NUMBERS小
        # 那么以服务器的数据库数量为准
        if server.dbnum < DEFAULT_DB_NUMBERS:
                db_numbers = server.dbnum
        else:
                db_numbers = DEFAULT_DB_NUMBERS
        # 遍历各个数据库
        for i  in range(db_numbers):
                # 若是current_db的值等于服务器的数据库数量
                # 表示检查程序已经遍历了服务器的全部数据库一次
                # 将current_db重置为0，开始新一轮遍历
                if current_db == server.dbnum:
                        current_db = 0
                # 获取当前要处理的数据库
                redisDb = server.db[current_db]
                # 将数据库索引增1，指向下一个要处理的数据库
                current_db +=1
                # 检查数据库键
                for j in range(DEFAULT_KEY_NUMBERS):
                        # 若是数据库中没有过时键，那么跳过这个数据库
                        if redisDb.expires.size() == 0:break
                        # 随机获取一个带有过时时间的键
                        key_with_ttl = redisDb.expires.get_random_key()
                        # 检查键是否过时，若是过时就删除
                        if is_expired(key_with_ttl):
                                delete_key(key_with_ttl)
                        # 已经达到本次删除操做时间上限，中止处理
                        if reach_time_limit():return

* RDB功能对过时键的处理

若是服务器开启RDB功能。

• 生成RDB文件时：
  在执行SAVE命令或者BGSAVE命令建立一个新的RDB文件时，程序会对数据库中的键进行检查，已过时的键不会被保存到新建立的RDB文件中。
• 载入RDB文件时：
  1）若是服务器以主服务器模式运行，那么载入RDB文件时，程序会对文件中保存的键进行检查，未过时的键会被载入到数据库中，而过时的键则被忽略，因此过时键对载入RDB文件的主服务器不会形成影响。
  2）若是服务器以从服务器模式运行，那么载入RDB文件时，文件中保存的全部键，不管是否过时，都会被载入到数据库中。不过，主服务器在进行数据同步的时候，从服务器的数据库就会被清空，因此通常来说，过时键对载入RDB文件的从服务器也不会形成影响。

* AOF功能对过时键的处理

若是服务器以AOF持久化模式运行。
若是数据库中的某个键已通过期，但它尚未被惰性删除或者按期删除，那么AOF文件不会由于这个过时键而产生任何影响。
当过时键被惰性删除或者按期删除以后，程序会向AOF文件中追加一条DEL命令，来显示地记录该键已被删除。
AOF重写的过程当中，程序会对数据库中的键进行检查，已通过期的键不会被保存到重写后的AOF文件中。

* 复制功能对过时键的处理

主服务器在删除一个过时键以后，会显示地向全部的从服务器发送一个DEL命令，告知从服务器删除这个过时键。
从服务器在执行客户端发送的读命令时，即便碰到过时键也不会将过时键删除，而是继续像处理未过时的键同样来处理过时键。
从服务器只有接收到主服务器发来的DEL命令后，才会删除过时键。

参考文献：《redis设计与实现》