《【面试突击】— Redis篇》-- Redis哨兵原理及持久化机制

能坚持别人不能坚持的,才能拥有别人不曾拥有的。
关注编程大道公众号,让咱们一同坚持心中所想,一块儿成长!!web

《【面试突击】— Redis篇》-- Redis哨兵原理及持久化机制面试

在这个系列里,我会整理一些面试题与你们分享,帮助年后和我同样想要在金三银四准备跳槽的同窗。
咱们一块儿巩固、突击面试官常问的一些面试题,加油!!redis

《【面试突击】— Redis篇》--Redis数据类型?适用于哪些场景?数据库

《【面试突击】— Redis篇》--Redis的线程模型了解吗?为啥单线程效率还这么高?编程

《【面试突击】— Redis篇》-- Redis的主从复制?哨兵机制?缓存

前两次由于时间缘由面试官暂时停止了面试,以为上次你对redis的主从复制,哨兵机制的知识掌握的还能够,因而今天面试官想看看你到底对Redis了解有多深,又加大了攻势,你准备好了吗?安全

上次由于时间问题面试草草收场今天我还有几个哨兵的问题要问。首先说一下Redis Sentinel是怎么工做的?重点描述一下故障转移的过程

好的。并发

1)每一个Sentinel以每秒钟一次的频率向它所知的Master,Slave以及其余 Sentinel 实例发送一个 PING 命令。app

2)若是一个实例(instance)距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值, 则这个实例会被当前 Sentinel 标记为主观下线。 分布式

3)若是一个Master被标记为主观下线,则正在监视这个Master的全部 Sentinel 要以每秒一次的频率确认Master的确进入了主观下线状态。

4)当有足够数量的 Sentinel(大于等于配置文件指定的值)在指定的时间范围内确认Master的确进入了主观下线状态, 则Master会被标记为客观下线 。

5)当Master被 Sentinel 标记为客观下线时,Sentinel 向下线的 Master 的全部 Slave 发送 INFO 命令的频率会从 10 秒一次改成每秒一次 (在通常状况下, 每一个 Sentinel 会以每 10 秒一次的频率向它已知的全部Master,Slave发送 INFO 命令 )。

6)若没有足够数量的 Sentinel 赞成 Master 已经下线, Master 的客观下线状态就会变成主观下线。 若 Master 从新向 Sentinel 的 PING 命令返回有效回复, Master 的主观下线状态就会被移除。

7)sentinel节点会与其余sentinel节点进行“沟通”,投票选举一个sentinel节点进行故障处理,在从节点中选取一个主节点,其余从节点挂载到新的主节点上自动复制新主节点的数据。

故障转移时会从剩下的slave选举一个新的master,被选举为master的标准是什么?

若是一个master被认为odown了,并且majority哨兵都容许了主备切换,那么某个哨兵就会执行主备切换操做,此时首先要选举一个slave来,会考虑slave的一些信息。
(1)跟master断开链接的时长。
若是一个slave跟master断开链接已经超过了down-after-milliseconds的10倍,外加master宕机的时长,那么slave就被认为不适合选举为master.

( down-after-milliseconds * 10) + milliseconds_since_master_is_in_SDOWN_state

(2)slave优先级。
按照slave优先级进行排序,slave priority越低,优先级就越高

(3)复制offset。
若是slave priority相同,那么看replica offset,哪一个slave复制了越多的数据,offset越靠后,优先级就越高

(4)run id
若是上面两个条件都相同,那么选择一个run id比较小的那个slave

执行切换的那个哨兵在完成故障转移后会作什么?

会进行configuraiton配置信息传播。

哨兵完成切换以后,会在本身本地更新生成最新的master配置,而后经过pub/sub消息机制同步给其余的哨兵。

同步配置的时候其余哨兵根据什么更新本身的配置呢?

执行切换的那个哨兵,会从要切换到的新master(salve->master)那里获得一个configuration epoch,这就是一个version号,每次切换的version号都必须是惟一的。

若是第一个选举出的哨兵切换失败了,那么其余哨兵,会等待failover-timeout时间,而后接替继续执行切换,此时会从新获取一个新的configuration epoch 做为新的version号。

这个version号就很重要了,由于各类消息都是经过一个channel去发布和监听的,因此一个哨兵完成一次新的切换以后,新的master配置是跟着新的version号的,其余的哨兵都是根据版本号的大小来更新本身的master配置的。

好,上次哨兵的问题暂时就到这吧,接下来讲说redis的持久化方面的问题吧。首先,生产上Redis要不要持久化?若是要,说说为何须要,或者说持久化对生产系统的意义何在?

要。

redis持久化主要是作灾难恢复,数据恢复,也能够归类到高可用的范畴。

好比Redis整个挂了,致使Redis不可用了,这时候首先要作的事情是让Redis尽快变得可用。那么就会去重启Redis,尽快让它对外提供服务。可是若是没作持久化没有数据备份,这个时候Redis启动了,也不可用啊,数据都没了!

这时候极可能,大量的请求过来,在缓存所有没法命中,这个时候就死定了,可能会致使缓存雪崩问题,全部的请求,没有在Redis命中,就会去数据库中去找,数据库一会儿承接高并发,而后就挂了。数据库挂掉,你都无法去找数据恢复到redis里面去。

Redis持久化机制有哪些?

Redis有两种持久化机制,AOF和RDB。

AOF,记录每次写请求的命令,以追加的方式在文件尾部追加,直接在尾部追加,效率比较高。
对于操做系统来讲,不是每次写都直接写到磁盘,操做系统本身会有一层cache,redis写磁盘的数据会先缓存在os cache里,redis每隔1秒调用一次操做系统的fsync操做,强制将os cache中的数据刷入AOF文件中。

当redis重启的时候,就把AOF中记录的命令从新执行一遍就能够了,可是若是文件很大的话,执行会耗费较多的时间,对于数据恢复来讲耗时会多一点。

RDB,是快照文件,每隔必定时间将redis内存中的数据生成一份完整的RDB快照文件,当redis重启的时候直接加载数据便可,一样的数据比AOF恢复的要快。

说说这两种持久化机制各自的特色、优缺点吧

好的。
RDB的优势
第一点就是他会生成多个数据文件,每一个数据文件都表明了某一时刻redis中的数据,很是适合作冷备。
第二点,RDB持久化机制对redis对外提供的读写服务影响很是小,可让redis保持高性能,由于redis主进程只须要fork一个子进程,让子进程执行磁盘IO操做来进行RDB持久化便可。
第三点,相对于AOF持久化机制来讲,直接基于RDB数据文件来重启和恢复redis进程,更加快速。

AOF,存放的指令日志,作数据恢复的时候,实际上是要回放和执行全部的指令日志,来恢复出来内存中的全部数据的。

RDB,就是一份数据文件,恢复的时候,直接加载到内存中便可。

RBD的缺点
1)故障时可能数据丢失的比AOF要多。
通常来讲,RDB数据快照文件,都是每隔5分钟或者更长时间生成一次,这个时候一旦redis进程宕机,那么会丢失最近5分钟的数据。

这个问题,也是rdb最大的缺点,就是不适合作第一优先的恢复方案,若是你依赖RDB作第一优先恢复方案,会致使数据丢失的比较多

2)RDB每次在fork子进程来执行RDB快照数据文件生成的时候,若是数据文件特别大,可能会致使对客户端提供的服务暂停数毫秒,或者甚至数秒。

因此通常不要让RDB的间隔太长,不然每次生成的RDB文件太大了,对redis自己的性能可能会有影响的。

AOF的优势

1)AOF能够更好的保护数据不丢失
通常AOF会每隔1秒,经过一个后台线程执行一次fsync操做,最多丢失1秒钟的数据。

每隔1秒,就执行一次fsync操做,保证os cache中的数据写入磁盘中。
redis进程挂了,最多丢掉1秒钟的数据.

2)AOF持久化性能高
AOF日志文件以append-only模式写入,因此没有任何磁盘寻址的开销,写入性能很是高,并且文件不容易破损,即便文件尾部破损,也很容易修复。

3)AOF日志文件即便过大的时候,出现后台重写操做,也不会影响客户端的读写。
由于在rewrite log的时候,会对其中的指令进行压缩,建立出一份须要恢复数据的最小日志出来。再建立新日志文件的时候,老的日志文件仍是照常写入。当新的merge后的日志文件ready的时候,再交换新老日志文件便可。

4)AOF日志文件的命令经过很是可读的方式进行记录,这个特性很是适合作灾难性的误删除的紧急恢复。

好比某人不当心用flushall命令清空了全部数据,只要这个时候后台rewrite尚未发生,那么就能够当即拷贝AOF文件,将最后一条flushall命令给删了,而后再将该AOF文件放回去,就能够经过恢复机制,自动恢复全部数据。

AOF的缺点

(1)对于同一份数据来讲,AOF日志文件一般比RDB数据快照文件更大

(2)AOF开启后,支持的写QPS会比RDB支持的写QPS低,由于AOF通常会配置成每秒fsync一第二天志文件,固然,每秒一次fsync,性能也仍是很高的。

若是你要保证一条数据都不丢,也是能够的,AOF的fsync设置成没写入一条数据,fsync一次,可是那样致使redis的QPS大幅度降低。

(3)之前AOF发生过bug,就是经过AOF记录的日志,进行数据恢复的时候,没有恢复如出一辙的数据出来。

因此说,相似AOF这种较为复杂的基于命令日志/merge/回放的方式,比基于RDB每次持久化一份完整的数据快照文件的方式,更加脆弱一些,容易有bug。

 

不过AOF就是为了不rewrite过程致使的bug,所以每次rewrite并非基于旧的指令日志进行merge的,而是基于当时内存中的数据进行指令的从新构建,这样健壮性会好不少。

(4)惟一的比较大的缺点,其实就是作数据恢复的时候,会比较慢,作冷备不太合适。

你刚才提到冷备,那你具体说说为啥AOF不适合RDB适合?

其实两个均可以作,只不过RDB更适合。

RDB能够作冷备,是由于它会生成多个文件,每一个文件都表明了某一个时刻的完整的数据快照,咱们能够将这种完整的数据文件发送到一些远程的安全存储上去,好比能够是阿里云的ODPS分布式存储上,以预约好的备份策略来按期备份redis中的数据。

AOF也能够作冷备,只不过它只有一个文件,可是咱们能够去本身写程序,每隔必定时间,去copy一份这个文件出来。

RDB作冷备,优点在于由redis去控制固定时长生成快照文件的事情,比较方便,而 AOF,还须要咱们本身写一些脚本去作这个事情,各类定时,比较麻烦。

RDB数据作冷备,在最坏的状况下,提供数据恢复的时候,速度比AOF快。

说了那么多AOF和RDB,那么生产系统对于这俩持久化机制到底该如何选择呢?

至于,RDB和AOF到底该如何选择,我以为两种都选择,

1)不要仅仅使用RDB,由于那样会致使你丢失不少数据。

2)也不要仅仅使用AOF,由于那样有两个问题,

  • 第一,你经过AOF作冷备,没有RDB作冷备,来的恢复速度更快;
  • 第二,RDB每次简单粗暴生成数据快照,更加健壮,能够避免AOF这种复杂的备份和恢复机制的bug。

3)综合使用AOF和RDB两种持久化机制,用AOF来保证数据不丢失,做为数据恢复的第一选择; 用RDB来作不一样程度的冷备,在AOF文件都丢失或损坏不可用的时候,还可使用RDB来进行快速的数据恢复,做为数据恢复的最后一道防线。

好,今天就到这里,下次咱们继续聊

终于结束了。

其实若是你的简历上写了掌握Redis,那么若是面试官也比较精通Redis的话,他就会抓住你这一个Redis从浅入深的一直追着问,看看你到底对Redis了解多少,是否是平时本身真的积累过这些知识,是否是比别人要懂得多一点,通过一层一层的深挖,看看你能过几关。相对于其余竞争者可能几个回合就招架不住了,你要是能多战几个回合,面试官对你的印象也会越深,你的机会也就越大。

若是说就redis问你几个基础的问题,那面试官要么对redis了解很少,要么就看中了你简历中的其余亮点。

本系列文章在于面试突击,不是教程,要是细挖能讲好多,而面试你只须要把这个原理说出来就好了,若是边讲边画图那就更好了。该系列文章在于快速突击,快速拾遗,温习。

相关文章
相关标签/搜索