原文连接(有修改)面试
能坚持别人不能坚持的,才能拥有别人不曾拥有的。
关注 编程大道 公众号,让咱们一同坚持心中所想,一块儿成长!!redis
《「面试突击」— Redis篇》- Redis哨兵原理及持久化机制数据库
在这个系列里,我会整理一些面试题与你们分享,帮助想要在金三银四准备跳槽的同窗巩固、突击面试官常问的一些面试题,加油!!编程
《【面试突击】— Redis篇》--Redis数据类型?适用于哪些场景?缓存
《【面试突击】— Redis篇》--Redis的线程模型了解吗?为啥单线程效率还这么高?安全
《【面试突击】— Redis篇》-- Redis的主从复制?哨兵机制?并发
前两次由于时间缘由面试官暂时停止了面试,面试官以为你对redis的主从复制,哨兵机制的知识掌握的还能够,因而今天面试官想看看你到底对Redis了解有多深,又加大了攻势,你准备好了吗?app
上次由于时间问题面试草草收场今天我还有几个哨兵的问题要问。首先说一下Redis Sentinel是怎么工做的?重点描述一下故障转移的过程
好的。分布式
1)每一个Sentinel以每秒钟一次的频率向它所知的Master,Slave以及其余 Sentinel 实例发送一个 PING 命令。高并发
2)若是一个实例(instance)距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值, 则这个实例会被当前 Sentinel 标记为主观下线。
3)若是一个Master被标记为主观下线,则正在监视这个Master的全部 Sentinel 要以每秒一次的频率确认Master的确进入了主观下线状态。
4)当有足够数量的 Sentinel(大于等于配置文件指定的值)在指定的时间范围内确认Master的确进入了主观下线状态, 则Master会被标记为客观下线 。
5)当Master被 Sentinel 标记为客观下线时,Sentinel 向下线的 Master 的全部 Slave 发送 INFO 命令的频率会从 10 秒一次改成每秒一次 (在通常状况下, 每一个 Sentinel 会以每 10 秒一次的频率向它已知的全部Master,Slave发送 INFO 命令 )。
6)若没有足够数量的 Sentinel 赞成 Master 已经下线, Master 的客观下线状态就会变成主观下线。若 Master 从新向 Sentinel 的 PING 命令返回有效回复, Master 的主观下线状态就会被移除。
7)sentinel节点会与其余sentinel节点进行“沟通”,投票选举一个sentinel节点进行故障处理,在从节点中选取一个主节点,其余从节点挂载到新的主节点上自动复制新主节点的数据。
故障转移时会从剩下的slave选举一个新的master,被选举为master的标准是什么?
若是一个master被认为odown了,并且majority哨兵都容许了主备切换,那么某个哨兵就会执行主备切换操做,此时首先要选举一个slave来,会考虑slave的一些信息。
(1)跟master断开链接的时长。
若是一个slave跟master断开链接已经超过了down-after-milliseconds的10倍,外加master宕机的时长,那么slave就被认为不适合选举为master.( down-after-milliseconds * 10) + milliseconds_since_master_is_in_SDOWN_state
(2)slave优先级。
按照slave优先级进行排序,slave priority越低,优先级就越高
(3)复制offset。
若是slave priority相同,那么看replica offset,哪一个slave复制了越多的数据,offset越靠后,优先级就越高
(4)run id
若是上面两个条件都相同,那么选择一个run id比较小的那个slave
执行切换的那个哨兵在完成故障转移后会作什么?
会进行configuraiton配置信息传播。
哨兵完成切换以后,会在本身本地更新生成最新的master配置,而后经过pub/sub消息机制同步给其余的哨兵。
同步配置的时候其余哨兵根据什么更新本身的配置呢?
执行切换的那个哨兵,会从要切换到的新master(salve->master)那里获得一个configuration epoch,这就是一个version号,每次切换的version号都必须是惟一的。
若是第一个选举出的哨兵切换失败了,那么其余哨兵,会等待failover-timeout时间,而后接替继续执行切换,此时会从新获取一个新的configuration epoch 做为新的version号。
这个version号就很重要了,由于各类消息都是经过一个channel去发布和监听的,因此一个哨兵完成一次新的切换以后,新的master配置是跟着新的version号的,其余的哨兵都是根据版本号的大小来更新本身的master配置的。
好,上次哨兵的问题暂时就到这吧,接下来讲说redis的持久化方面的问题吧。首先,生产上Redis要不要持久化?若是要,说说为何须要,或者说持久化对生产系统的意义何在?
要。
redis持久化主要是作灾难恢复,数据恢复,也能够归类到高可用的范畴。
好比Redis整个挂了,致使Redis不可用了,这时候首先要作的事情是让Redis尽快变得可用。那么就会去重启Redis,尽快让它对外提供服务。可是若是没作持久化没有数据备份,这个时候Redis启动了,也不可用啊,数据都没了!
这时候极可能,大量的请求过来,在缓存所有没法命中,这个时候就死定了,可能会致使缓存雪崩问题,全部的请求,没有在Redis命中,就会去数据库中去找,数据库一会儿承接高并发,而后就挂了。数据库挂掉,你都无法去找数据恢复到redis里面去。
Redis持久化机制有哪些?
Redis有两种持久化机制,AOF和RDB。
AOF
,记录每次写请求的命令,以追加的方式在文件尾部追加,直接在尾部追加,效率比较高。
对于操做系统来讲,不是每次写都直接写到磁盘,操做系统本身会有一层cache,redis写磁盘的数据会先缓存在os cache里,redis每隔1秒调用一次操做系统的fsync操做,强制将os cache中的数据刷入AOF文件中。
当redis重启的时候,就把AOF中记录的命令从新执行一遍就能够了,可是若是文件很大的话,执行会耗费较多的时间,对于数据恢复来讲耗时会多一点。
RDB
,是快照文件,每隔必定时间将redis内存中的数据生成一份完整的RDB快照文件,当redis重启的时候直接加载数据便可,一样的数据比AOF恢复的要快。
说说这两种持久化机制各自的特色、优缺点吧
好的。
RDB的优势
第一点就是他会生成多个数据文件,每一个数据文件都表明了某一时刻redis中的数据,很是适合作冷备。
第二点,RDB持久化机制对redis对外提供的读写服务影响很是小,可让redis保持高性能,由于redis主进程只须要fork一个子进程,让子进程执行磁盘IO操做来进行RDB持久化便可。
第三点,相对于AOF持久化机制来讲,直接基于RDB数据文件来重启和恢复redis进程,更加快速。
AOF,存放的指令日志,作数据恢复的时候,实际上是要回放和执行全部的指令日志,来恢复出来内存中的全部数据的。
RDB,就是一份数据文件,恢复的时候,直接加载到内存中便可。
RBD的缺点
1)故障时可能数据丢失的比AOF要多。通常来讲,RDB数据快照文件,都是每隔5分钟或者更长时间生成一次,这个时候一旦redis进程宕机,那么会丢失最近5分钟的数据。
这个问题,也是rdb最大的缺点,就是不适合作第一优先的恢复方案,若是你依赖RDB作第一优先恢复方案,会致使数据丢失的比较多
2)RDB每次在fork子进程来执行RDB快照数据文件生成的时候,若是数据文件特别大,可能会致使对客户端提供的服务暂停数毫秒,或者甚至数秒。
因此通常不要让RDB的间隔太长,不然每次生成的RDB文件太大了,对redis自己的性能可能会有影响的。
AOF的优势
1)AOF能够更好的保护数据不丢失
通常AOF会每隔1秒,经过一个后台线程执行一次fsync操做,最多丢失1秒钟的数据。
每隔1秒,就执行一次fsync操做,保证os cache中的数据写入磁盘中。
redis进程挂了,最多丢掉1秒钟的数据.
2)AOF持久化性能高
AOF日志文件以append-only模式写入,因此没有任何磁盘寻址的开销,写入性能很是高,并且文件不容易破损,即便文件尾部破损,也很容易修复。
3)AOF日志文件即便过大的时候,出现后台重写操做,也不会影响客户端的读写。
由于在rewrite log的时候,会对其中的指令进行压缩,建立出一份须要恢复数据的最小日志出来。在建立新日志文件的时候,老的日志文件仍是照常写入。当新的merge后的日志文件ready的时候,再交换新老日志文件便可。
4)AOF日志文件的命令经过很是可读的方式进行记录,这个特性很是适合作灾难性的误删除的紧急恢复。
好比某人不当心用flushall命令清空了全部数据,只要这个时候后台rewrite尚未发生,那么就能够当即拷贝AOF文件,将最后一条flushall命令给删了,而后再将该AOF文件放回去,就能够经过恢复机制,自动恢复全部数据。
AOF的缺点
(1)对于同一份数据来讲,AOF日志文件一般比RDB数据快照文件更大
(2)AOF开启后,支持的写QPS会比RDB支持的写QPS低,由于AOF通常会配置成每秒fsync一第二天志文件,固然,每秒一次fsync,性能也仍是很高的。
若是你要保证一条数据都不丢,也是能够的,AOF的fsync设置成没写入一条数据,fsync一次,可是那样致使redis的QPS大幅度降低。
(3)之前AOF发生过bug,就是经过AOF记录的日志,进行数据恢复的时候,没有恢复如出一辙的数据出来。
因此说,相似AOF这种较为复杂的基于命令日志/merge/回放的方式,比基于RDB每次持久化一份完整的数据快照文件的方式,更加脆弱一些,容易有bug。不过AOF就是为了不rewrite过程致使的bug,所以每次rewrite并非基于旧的指令日志进行merge的,而是基于当时内存中的数据进行指令的从新构建,这样健壮性会好不少。
(4)惟一的比较大的缺点,其实就是作数据恢复的时候,会比较慢,作冷备不太合适。
你刚才提到冷备,那你具体说说为啥AOF不适合RDB适合?
其实两个均可以作,只不过RDB更适合。
RDB能够作冷备,是由于它会生成多个文件,每一个文件都表明了某一个时刻的完整的数据快照,咱们能够将这种完整的数据文件发送到一些远程的安全存储上去,好比能够是阿里云的ODPS分布式存储上,以预约好的备份策略来按期备份redis中的数据。
AOF也能够作冷备,只不过它只有一个文件,可是咱们能够去本身写程序,每隔必定时间,去copy一份这个文件出来。
RDB作冷备,优点在于由redis去控制固定时长生成快照文件的事情,比较方便,而 AOF,还须要咱们本身写一些脚本去作这个事情,各类定时,比较麻烦。
RDB数据作冷备,在最坏的状况下,提供数据恢复的时候,速度比AOF快。
说了那么多AOF和RDB,那么生产系统对于这俩持久化机制到底该如何选择呢?
至于,RDB和AOF到底该如何选择,我以为两种都选择,
1)不要仅仅使用RDB,由于那样会致使你丢失不少数据。
2)也不要仅仅使用AOF,由于那样有两个问题,
第一,你经过AOF作冷备,没有RDB作冷备,来的恢复速度更快;
第二,RDB每次简单粗暴生成数据快照,更加健壮,能够避免AOF这种复杂的备份和恢复机制的bug。
3)综合使用AOF和RDB两种持久化机制,用AOF来保证数据不丢失,做为数据恢复的第一选择; 用RDB来作不一样程度的冷备,在AOF文件都丢失或损坏不可用的时候,还可使用RDB来进行快速的数据恢复,做为数据恢复的最后一道防线。
好,今天就到这里,下次咱们继续聊
终于结束了。
其实若是你的简历上写了掌握Redis,那么若是面试官也比较精通Redis的话,他就会抓住你这一个Redis从浅入深的一直追着问,看看你到底对Redis了解多少,是否是平时本身真的积累过这些知识,是否是比别人要懂得多一点,通过一层一层的深挖,看看你能过几关。相对于其余竞争者可能几个回合就招架不住了,你要是能多战几个回合,面试官对你的印象也会越深,你的机会也就越大。
若是说就redis问你几个基础的问题,那面试官要么对redis了解很少,要么就看中了你简历中的其余亮点。
小建议: 还有一点要说,面试不要只是技术名词的罗列,能够具体到某个技术的技术点,如:熟悉redis线程模型、持久化机制
(固然你要真的了解再这样写)。比你只写熟悉redis
要强,这样面试官也能知道要问你啥,有方向。否则就只是罗列技术名词,太普遍了,面试官都不知道问你啥,随便问的话你不会不就尴尬了。你写上你熟悉具体的某个知识点,就不那么被动了。固然免不了会有面试官专门问你简历上没写的。。。
本系列文章在于面试突击,不是教程,要是细挖能讲好多,而面试你只须要把这个原理说出来就好了,若是边讲边画图那就更好了。该系列文章在于快速突击,快速拾遗,温习。
以为好看,请点赞哦~
关注公众号 编程大道 ,第一时间获文章推送。
以为好看,请 点赞、关注、转发 哦~