Redis 持久化

Redis 持久化

Redis 提供了多种不一样级别的持久化方式：

• RDB 持久化能够在指定的时间间隔内生成数据集的时间点快照（point-in-time snapshot）。
• AOF 持久化记录服务器执行的全部写操做命令，并在服务器启动时，经过从新执行这些命令来还原数据集。 AOF 文件中的命令所有以 Redis 协议的格式来保存，新命令会被追加到文件的末尾。 Redis 还能够在后台对 AOF 文件进行重写（rewrite），使得 AOF 文件的体积不会超出保存数据集状态所需的实际大小。
• Redis 还能够同时使用 AOF 持久化和 RDB 持久化。 在这种状况下， 当 Redis 重启时， 它会优先使用 AOF 文件来还原数据集， 由于 AOF 文件保存的数据集一般比 RDB 文件所保存的数据集更完整。
• 你甚至能够关闭持久化功能，让数据只在服务器运行时存在。

了解 RDB 持久化和 AOF 持久化之间的异同是很是重要的， 如下几个小节将详细地介绍这这两种持久化功能， 并对它们的相同和不一样之处进行说明。

RDB 的优势

• RDB 是一个很是紧凑（compact）的文件，它保存了 Redis 在某个时间点上的数据集。 这种文件很是适合用于进行备份： 好比说，你能够在最近的 24 小时内，每小时备份一次 RDB 文件，而且在每月的每一天，也备份一个 RDB 文件。 这样的话，即便赶上问题，也能够随时将数据集还原到不一样的版本。
• RDB 很是适用于灾难恢复（disaster recovery）：它只有一个文件，而且内容都很是紧凑，能够（在加密后）将它传送到别的数据中心，或者亚马逊 S3 中。
• RDB 能够最大化 Redis 的性能：父进程在保存 RDB 文件时惟一要作的就是 fork 出一个子进程，而后这个子进程就会处理接下来的全部保存工做，父进程无须执行任何磁盘 I/O 操做。
• RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快。

RDB 的缺点

• 若是你须要尽可能避免在服务器故障时丢失数据，那么 RDB 不适合你。 虽然 Redis 容许你设置不一样的保存点（save point）来控制保存 RDB 文件的频率， 可是， 由于RDB 文件须要保存整个数据集的状态， 因此它并非一个轻松的操做。 所以你可能会至少 5 分钟才保存一次 RDB 文件。 在这种状况下， 一旦发生故障停机， 你就可能会丢失好几分钟的数据。
• 每次保存 RDB 的时候，Redis 都要 fork() 出一个子进程，并由子进程来进行实际的持久化工做。 在数据集比较庞大时， fork() 可能会很是耗时，形成服务器在某某毫秒内中止处理客户端； 若是数据集很是巨大，而且 CPU 时间很是紧张的话，那么这种中止时间甚至可能会长达整整一秒。 虽然 AOF 重写也须要进行 fork() ，但不管 AOF 重写的执行间隔有多长，数据的耐久性都不会有任何损失。

AOF 的优势

• 使用 AOF 持久化会让 Redis 变得很是耐久（much more durable）：你能够设置不一样的 fsync策略，好比无 fsync ，每秒钟一次 fsync ，或者每次执行写入命令时 fsync 。 AOF 的默认策略为每秒钟 fsync 一次，在这种配置下，Redis 仍然能够保持良好的性能，而且就算发生故障停机，也最多只会丢失一秒钟的数据（ fsync 会在后台线程执行，因此主线程能够继续努力地处理命令请求）。
• AOF 文件是一个只进行追加操做的日志文件（append only log）， 所以对 AOF 文件的写入不须要进行 seek ， 即便日志由于某些缘由而包含了未写入完整的命令（好比写入时磁盘已满，写入中途停机，等等）， redis-check-aof 工具也能够轻易地修复这种问题。
• Redis 能够在 AOF 文件体积变得过大时，自动地在后台对 AOF 进行重写： 重写后的新 AOF 文件包含了恢复当前数据集所需的最小命令集合。 整个重写操做是绝对安全的，由于 Redis 在建立新 AOF 文件的过程当中，会继续将命令追加到现有的 AOF 文件里面，即便重写过程当中发生停机，现有的 AOF 文件也不会丢失。 而一旦新 AOF 文件建立完毕，Redis 就会从旧 AOF 文件切换到新 AOF 文件，并开始对新 AOF 文件进行追加操做。
• AOF 文件有序地保存了对数据库执行的全部写入操做， 这些写入操做以 Redis 协议的格式保存， 所以 AOF 文件的内容很是容易被人读懂， 对文件进行分析（parse）也很轻松。 导出（export） AOF 文件也很是简单： 举个例子， 若是你不当心执行了 FLUSHALL 命令， 但只要 AOF 文件未被重写， 那么只要中止服务器， 移除 AOF 文件末尾的 FLUSHALL 命令， 并重启 Redis ， 就能够将数据集恢复到 FLUSHALL 执行以前的状态。

AOF 的缺点

• 对于相同的数据集来讲，AOF 文件的体积一般要大于 RDB 文件的体积。
• 根据所使用的 fsync 策略，AOF 的速度可能会慢于 RDB 。 在通常状况下， 每秒 fsync 的性能依然很是高， 而关闭 fsync 可让 AOF 的速度和 RDB 同样快， 即便在高负荷之下也是如此。 不过在处理巨大的写入载入时，RDB 能够提供更有保证的最大延迟时间（latency）。
• AOF 在过去曾经发生过这样的 bug ： 由于个别命令的缘由，致使 AOF 文件在从新载入时，没法将数据集恢复成保存时的原样。 （举个例子，阻塞命令 BRPOPLPUSH source destination timeout 就曾经引发过这样的 bug 。） 测试套件里为这种状况添加了测试： 它们会自动生成随机的、复杂的数据集， 并经过从新载入这些数据来确保一切正常。 虽然这种 bug 在 AOF 文件中并不常见， 可是对比来讲， RDB 几乎是不可能出现这种 bug 的。

RDB 和 AOF ，我应该用哪个？

通常来讲， 若是想达到足以媲美 PostgreSQL 的数据安全性， 你应该同时使用两种持久化功能。

若是你很是关心你的数据， 但仍然能够承受数分钟之内的数据丢失， 那么你能够只使用 RDB 持久化。

有不少用户都只使用 AOF 持久化， 但咱们并不推荐这种方式： 由于定时生成 RDB 快照（snapshot）很是便于进行数据库备份， 而且 RDB 恢复数据集的速度也要比 AOF 恢复的速度要快， 除此以外， 使用 RDB 还能够避免以前提到的 AOF 程序的 bug 。

Note

由于以上提到的种种缘由， 将来咱们可能会将 AOF 和 RDB 整合成单个持久化模型。 （这是一个长期计划。）

接下来的几个小节将介绍 RDB 和 AOF 的更多细节。

RDB 快照

在默认状况下， Redis 将数据库快照保存在名字为 dump.rdb 的二进制文件中。

你能够对 Redis 进行设置， 让它在“ N 秒内数据集至少有 M 个改动”这一条件被知足时， 自动保存一次数据集。

你也能够经过调用 SAVE 或者 BGSAVE ， 手动让 Redis 进行数据集保存操做。

好比说， 如下设置会让 Redis 在知足“ 60 秒内有至少有 1000 个键被改动”这一条件时， 自动保存一次数据集：

save 60 1000

这种持久化方式被称为快照（snapshot）。

快照的运做方式

当 Redis 须要保存 dump.rdb 文件时， 服务器执行如下操做：

1. Redis 调用 fork() ，同时拥有父进程和子进程。
2. 子进程将数据集写入到一个临时 RDB 文件中。
3. 当子进程完成对新 RDB 文件的写入时，Redis 用新 RDB 文件替换原来的 RDB 文件，并删除旧的 RDB 文件。

这种工做方式使得 Redis 能够从写时复制（copy-on-write）机制中获益。

只进行追加操做的文件（append-only file，AOF）

快照功能并非很是耐久（durable）： 若是 Redis 由于某些缘由而形成故障停机， 那么服务器将丢失最近写入、且仍未保存到快照中的那些数据。

尽管对于某些程序来讲， 数据的耐久性并非最重要的考虑因素， 可是对于那些追求彻底耐久能力（full durability）的程序来讲， 快照功能就不太适用了。

从 1.1 版本开始， Redis 增长了一种彻底耐久的持久化方式： AOF 持久化。

你能够经过修改配置文件来打开 AOF 功能：

appendonly yes

从如今开始， 每当 Redis 执行一个改变数据集的命令时（好比 SET key value [EX seconds] [PX milliseconds] [NX|XX]）， 这个命令就会被追加到 AOF 文件的末尾。

这样的话， 当 Redis 从新启时， 程序就能够经过从新执行 AOF 文件中的命令来达到重建数据集的目的。

AOF 重写

由于 AOF 的运做方式是不断地将命令追加到文件的末尾， 因此随着写入命令的不断增长， AOF 文件的体积也会变得愈来愈大。

举个例子， 若是你对一个计数器调用了 100 次 INCR key ， 那么仅仅是为了保存这个计数器的当前值， AOF 文件就须要使用 100 条记录（entry）。

然而在实际上， 只使用一条 SET key value [EX seconds] [PX milliseconds] [NX|XX] 命令已经足以保存计数器的当前值了， 其他 99 条记录实际上都是多余的。

为了处理这种状况， Redis 支持一种有趣的特性： 能够在不打断服务客户端的状况下， 对 AOF 文件进行重建（rebuild）。

执行 BGREWRITEAOF 命令， Redis 将生成一个新的 AOF 文件， 这个文件包含重建当前数据集所需的最少命令。

Redis 2.2 须要本身手动执行 BGREWRITEAOF 命令； Redis 2.4 则能够自动触发 AOF 重写， 具体信息请查看 2.4 的示例配置文件。

AOF 的耐久性如何？

你能够配置 Redis 多久才将数据 fsync 到磁盘一次。

有三个选项：

• 每次有新命令追加到 AOF 文件时就执行一次 fsync ：很是慢，也很是安全。
• 每秒 fsync 一次：足够快（和使用 RDB 持久化差很少），而且在故障时只会丢失 1 秒钟的数据。
• 从不 fsync ：将数据交给操做系统来处理。更快，也更不安全的选择。

推荐（而且也是默认）的措施为每秒 fsync 一次， 这种 fsync 策略能够兼顾速度和安全性。

老是 fsync 的策略在实际使用中很是慢， 即便在 Redis 2.0 对相关的程序进行了改进以后还是如此 —— 频繁调用 fsync 注定了这种策略不可能快得起来。

若是 AOF 文件出错了，怎么办？

服务器可能在程序正在对 AOF 文件进行写入时停机， 若是停机形成了 AOF 文件出错（corrupt）， 那么 Redis 在重启时会拒绝载入这个 AOF 文件， 从而确保数据的一致性不会被破坏。

当发生这种状况时， 能够用如下方法来修复出错的 AOF 文件：

1. 为现有的 AOF 文件建立一个备份。
2. 使用 Redis 附带的 redis-check-aof 程序，对原来的 AOF 文件进行修复。

$ redis-check-aof --fix

1. （可选）使用 diff -u 对比修复后的 AOF 文件和原始 AOF 文件的备份，查看两个文件之间的不一样之处。
2. 重启 Redis 服务器，等待服务器载入修复后的 AOF 文件，并进行数据恢复。

AOF 的运做方式

AOF 重写和 RDB 建立快照同样，都巧妙地利用了写时复制机制。

如下是 AOF 重写的执行步骤：

1. Redis 执行 fork() ，如今同时拥有父进程和子进程。
2. 子进程开始将新 AOF 文件的内容写入到临时文件。
3. 对于全部新执行的写入命令，父进程一边将它们累积到一个内存缓存中，一边将这些改动追加到现有 AOF 文件的末尾： 这样即便在重写的中途发生停机，现有的 AOF 文件也仍是安全的。
4. 当子进程完成重写工做时，它给父进程发送一个信号，父进程在接收到信号以后，将内存缓存中的全部数据追加到新 AOF 文件的末尾。
5. 搞定！如今 Redis 原子地用新文件替换旧文件，以后全部命令都会直接追加到新 AOF 文件的末尾。

怎么从 RDB 持久化切换到 AOF 持久化

在 Redis 2.2 或以上版本，能够在不重启的状况下，从 RDB 切换到 AOF ：

1. 为最新的 dump.rdb 文件建立一个备份。
2. 将备份放到一个安全的地方。
3. 执行如下两条命令：

redis-cli> CONFIG SET appendonly yes

redis-cli> CONFIG SET save ""

1. 确保命令执行以后，数据库的键的数量没有改变。
2. 确保写命令会被正确地追加到 AOF 文件的末尾。

步骤 3 执行的第一条命令开启了 AOF 功能： Redis 会阻塞直到初始 AOF 文件建立完成为止， 以后 Redis 会继续处理命令请求， 并开始将写入命令追加到 AOF 文件末尾。

步骤 3 执行的第二条命令用于关闭 RDB 功能。 这一步是可选的， 若是你愿意的话， 也能够同时使用 RDB 和 AOF 这两种持久化功能。

Note

别忘了在 redis.conf 中打开 AOF 功能！ 不然的话， 服务器重启以后， 以前经过 CONFIG SET设置的配置就会被遗忘， 程序会按原来的配置来启动服务器。

Note

译注： 原文这里还有介绍 2.0 版本的切换方式， 考虑到 2.0 已经很老旧了， 这里省略了对那部分文档的翻译， 有须要的请参考原文。

RDB 和 AOF 之间的相互做用

在版本号大于等于 2.4 的 Redis 中， BGSAVE 执行的过程当中， 不能够执行 BGREWRITEAOF 。 反过来讲， 在 BGREWRITEAOF 执行的过程当中， 也不能够执行 BGSAVE 。

这能够防止两个 Redis 后台进程同时对磁盘进行大量的 I/O 操做。

若是 BGSAVE 正在执行， 而且用户显示地调用 BGREWRITEAOF 命令， 那么服务器将向用户回复一个 OK 状态， 并告知用户， BGREWRITEAOF 已经被预约执行： 一旦 BGSAVE 执行完毕，BGREWRITEAOF 就会正式开始。

当 Redis 启动时， 若是 RDB 持久化和 AOF 持久化都被打开了， 那么程序会优先使用 AOF 文件来恢复数据集， 由于 AOF 文件所保存的数据一般是最完整的。

备份 Redis 数据

在阅读这个小节前， 先将下面这句话铭记于心： 必定要备份你的数据库！

磁盘故障， 节点失效， 诸如此类的问题均可能让你的数据消失不见， 不进行备份是很是危险的。

Redis 对于数据备份是很是友好的， 由于你能够在服务器运行的时候对 RDB 文件进行复制： RDB 文件一旦被建立， 就不会进行任何修改。 当服务器要建立一个新的 RDB 文件时， 它先将文件的内容保存在一个临时文件里面， 当临时文件写入完毕时， 程序才使用 rename(2) 原子地用临时文件替换原来的 RDB 文件。

这也就是说， 不管什么时候， 复制 RDB 文件都是绝对安全的。

如下是咱们的建议：

• 建立一个按期任务（cron job）， 每小时将一个 RDB 文件备份到一个文件夹， 而且天天将一个 RDB 文件备份到另外一个文件夹。
• 确保快照的备份都带有相应的日期和时间信息， 每次执行按期任务脚本时， 使用 find 命令来删除过时的快照： 好比说， 你能够保留最近 48 小时内的每小时快照， 还能够保留最近一两个月的每日快照。
• 至少天天一次， 将 RDB 备份到你的数据中心以外， 或者至少是备份到你运行 Redis 服务器的物理机器以外。

容灾备份

Redis 的容灾备份基本上就是对数据进行备份， 并将这些备份传送到多个不一样的外部数据中心。

容灾备份能够在 Redis 运行并产生快照的主数据中心发生严重的问题时， 仍然让数据处于安全状态。

由于不少 Redis 用户都是创业者， 他们没有大把大把的钱能够浪费， 因此下面介绍的都是一些实用又便宜的容灾备份方法：

• Amazon S3 ，以及其余相似 S3 的服务，是一个构建灾难备份系统的好地方。 最简单的方法就是将你的每小时或者每日 RDB 备份加密并传送到 S3 。 对数据的加密能够经过 gpg -c 命令来完成（对称加密模式）。 记得把你的密码放到几个不一样的、安全的地方去（好比你能够把密码复制给你组织里最重要的人物）。 同时使用多个储存服务来保存数据文件，能够提高数据的安全性。
• 传送快照可使用 SCP 来完成（SSH 的组件）。 如下是简单而且安全的传送方法： 买一个离你的数据中心很是远的 VPS ， 装上 SSH ， 建立一个无口令的 SSH 客户端 key ， 并将这个 key 添加到 VPS 的 authorized_keys 文件中， 这样就能够向这个 VPS 传送快照备份文件了。 为了达到最好的数据安全性，至少要从两个不一样的提供商那里各购买一个 VPS 来进行数据容灾备份。

须要注意的是， 这类容灾系统若是没有当心地进行处理的话， 是很容易失效的。

最低限度下， 你应该在文件传送完毕以后， 检查所传送备份文件的体积和原始快照文件的体积是否相同。 若是你使用的是 VPS ， 那么还能够经过比对文件的 SHA1 校验和来确认文件是否传送完整。