Redis的三种集群方式+穿透与雪崩的预防和解决

Redis的三种集群方式概述

一、主从复制

原理

1. 从服务器链接主服务器，发送SYNC（同步）命令；
2. 主服务器接收到SYNC命名后，开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的全部写命令；
3. 主服务器BGSAVE执行完后，向全部从服务器发送快照文件，并在发送期间继续记录被执行的写命令；
4. 从服务器收到快照文件后丢弃全部旧数据，载入收到的快照；
5. 主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令；
6. 从服务器完成对快照的载入，开始接收命令请求，并执行来自主服务器缓冲区的写命令；（从服务器初始化完成）
7. 主服务器每执行一个写命令就会向从服务器发送相同的写命令，从服务器接收并执行收到的写命令（从服务器初始化完成后的操做）

优势

1. 支持主从复制，主机会自动将数据同步到从机，能够进行读写分离
2. 为了分载Master的读操做压力，Slave服务器能够为客户端提供只读操做的服务，写服务仍然必须由Master来完成
3. Slave一样能够接受其它Slaves的链接和同步请求，这样能够有效的分载Master的同步压力。
4. Master Server是以非阻塞的方式为Slaves提供服务。因此在Master-Slave同步期间，客户端仍然能够提交查询或修改请求。
5. Slave Server一样是以非阻塞的方式完成数据同步。在同步期间，若是有客户端提交查询请求，Redis则返回同步以前的数据

缺点

1. Redis不具有自动容错和恢复功能，主机从机的宕机都会致使前端部分读写请求失败，须要等待机器重启或者手动切换前端的IP才能恢复。
2. 主机宕机，宕机前有部分数据未能及时同步到从机，切换IP后还会引入数据不一致的问题，下降了系统的可用性。
3. Redis较难支持在线扩容，在集群容量达到上限时在线扩容会变得很复杂。

二、哨兵模式

原理

当主服务器中断服务后，能够将一个从服务器升级为主服务器，以便继续提供服务，可是这个过程须要人工手动来操做。 为此，Redis 2.8中提供了哨兵工具来实现自动化的系统监控和故障恢复功能。

哨兵的做用就是监控Redis系统的运行情况。它的功能包括如下两个

（1）监控主服务器和从服务器是否正常运行。

（2）主服务器出现故障时自动将从服务器转换为主服务器。

工做方式

• 每一个Sentinel（哨兵）进程以每秒钟一次的频率向整个集群中的Master主服务器，Slave从服务器以及其余Sentinel（哨兵）进程发送一个 PING 命令。
• 若是一个实例（instance）距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值， 则这个实例会被 Sentinel（哨兵）进程标记为主观下线（SDOWN）
• 若是一个Master主服务器被标记为主观下线（SDOWN），则正在监视这个Master主服务器的全部 Sentinel（哨兵）进程要以每秒一次的频率确认Master主服务器的确进入了主观下线状态
• 当有足够数量的 Sentinel（哨兵）进程（大于等于配置文件指定的值）在指定的时间范围内确认Master主服务器进入了主观下线状态（SDOWN）， 则Master主服务器会被标记为客观下线（ODOWN）
• 在通常状况下， 每一个 Sentinel（哨兵）进程会以每 10 秒一次的频率向集群中的全部Master主服务器、Slave从服务器发送 INFO 命令。
• 当Master主服务器被 Sentinel（哨兵）进程标记为客观下线（ODOWN）时，Sentinel（哨兵）进程向下线的 Master主服务器的全部 Slave从服务器发送 INFO 命令的频率会从 10 秒一次改成每秒一次。
• 若没有足够数量的 Sentinel（哨兵）进程赞成 Master主服务器下线， Master主服务器的客观下线状态就会被移除。若 Master主服务器从新向 Sentinel（哨兵）进程发送 PING 命令返回有效回复，Master主服务器的主观下线状态就会被移除。

优势

• 哨兵模式是基于主从模式的，全部主从的优势，哨兵模式都具备。
• 主从能够自动切换，系统更健壮，可用性更高。

缺点

Redis较难支持在线扩容，在集群容量达到上限时在线扩容会变得很复杂。

三、Redis-Cluster集群

原理

redis的哨兵模式基本已经能够实现高可用，读写分离 ，可是在这种模式下每台redis服务器都存储相同的数据，很浪费内存，因此在redis3.0上加入了cluster模式，实现的redis的分布式存储，也就是说每台redis节点上存储不一样的内容。

Redis-Cluster采用无中心结构,它的特色以下

1. 全部的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。
2. 节点的fail是经过集群中超过半数的节点检测失效时才生效。
3. 客户端与redis节点直连,不须要中间代理层.客户端不须要链接集群全部节点,链接集群中任何一个可用节点便可。

工做方式

在redis的每个节点上，都有这么两个东西，一个是插槽（slot），它的的取值范围是：0-16383。还有一个就是cluster，能够理解为是一个集群管理的插件。当咱们的存取的key到达的时候，redis会根据crc16的算法得出一个结果，而后把结果对 16384 求余数，这样每一个 key 都会对应一个编号在 0-16383 之间的哈希槽，经过这个值，去找到对应的插槽所对应的节点，而后直接自动跳转到这个对应的节点上进行存取操做。

为了保证高可用，redis-cluster集群引入了主从模式，一个主节点对应一个或者多个从节点，当主节点宕机的时候，就会启用从节点。当其它主节点ping一个主节点A时，若是半数以上的主节点与A通讯超时，那么认为主节点A宕机了。若是主节点A和它的从节点A1都宕机了，那么该集群就没法再提供服务了

redis中穿透与雪崩的预防及解决

认识缓存穿透

缓存穿透是指查询一个必定不存在的数据，因为缓存是不命中时须要从数据库查询，查不到数据则不写入缓存，这将致使这个不存在的数据每次请求都要到数据库去查询，形成缓存穿透。

解决办法

• 对全部可能查询的参数以hash形式存储，在控制层先进行校验，不符合则丢弃。还有最多见的则是采用布隆过滤器，将全部可能存在的数据哈希到一个足够大的bitmap中，一个必定不存在的数据会被这个bitmap拦截掉，从而避免了对底层存储系统的查询压力。
• 也能够采用一个更为简单粗暴的方法，若是一个查询返回的数据为空（不论是数 据不存在，仍是系统故障），咱们仍然把这个空结果进行缓存，但它的过时时间会很短，最长不超过五分钟。

认识缓存雪崩

若是缓存集中在一段时间内失效，发生大量的缓存穿透，全部的查询都落在数据库上，形成了缓存雪崩。

这个没有完美解决办法，但能够分析用户行为，尽可能让失效时间点均匀分布。大多数系统设计者考虑用加锁或者队列的方式保证缓存的单线程（进程）写，从而避免失效时大量的并发请求落到底层存储系统上。

解决方法

• 在缓存失效后，经过加锁或者队列来控制读数据库写缓存的线程数量。好比对某个key只容许一个线程查询数据和写缓存，其余线程等待。
• 能够经过缓存reload机制，预先去更新缓存，再即将发生大并发访问前手动触发加载缓存
• 不一样的key，设置不一样的过时时间，让缓存失效的时间点尽可能均匀
• 作二级缓存，或者双缓存策略。A1为原始缓存，A2为拷贝缓存，A1失效时，能够访问A2，A1缓存失效时间设置为短时间，A2设置为长期。

我整理了一些互联网公司java程序员在面试中涉及到的绝大部分架构面试题及答案作成了文档和架构视频资料免费分享给你们（包括Dubbo、Redis、Netty、zookeeper、Spring cloud、分布式、高并发等架构技术资料）也能够关注得到更多的面试资料，节省你们收集的时间！

获取资料的方式：进群 571617441 便可领取！