Redis Sentinel机制与用法说明【转】

时间 2019-11-12

原文原文链接

本文来自：http://www.javashuo.com/article/p-vguqgocn-gw.html正则表达式

概述

Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案，当用Redis作Master-slave的高可用方案时，假如master宕机了，Redis自己(包括它的不少客户端)都没有实现自动进行主备切换，而Redis-sentinel自己也是一个独立运行的进程，它能监控多个master-slave集群，发现master宕机后能进行自动切换。redis

它的主要功能有如下几点算法

不时地监控redis是否按照预期良好地运行;sql
若是发现某个redis节点运行出现情况，可以通知另一个进程(例如它的客户端);segmentfault
可以进行自动切换。当一个master节点不可用时，可以选举出master的多个slave(若是有超过一个slave的话)中的一个来做为新的master,其它的slave节点会将它所追随的master的地址改成被提高为master的slave的新地址。缓存

Sentinel支持集群

很显然，只使用单个sentinel进程来监控redis集群是不可靠的，当sentinel进程宕掉后(sentinel自己也有单点问题，single-point-of-failure)整个集群系统将没法按照预期的方式运行。因此有必要将sentinel集群，这样有几个好处：安全

即便有一些sentinel进程宕掉了，依然能够进行redis集群的主备切换；ruby
若是只有一个sentinel进程，若是这个进程运行出错，或者是网络堵塞，那么将没法实现redis集群的主备切换（单点问题）;bash
若是有多个sentinel，redis的客户端能够随意地链接任意一个sentinel来得到关于redis集群中的信息。网络

Sentinel版本

Sentinel当前最新的稳定版本称为Sentinel 2(与以前的Sentinel 1区分开来）。随着redis2.8的安装包一块儿发行。安装完Redis2.8后，能够在redis2.8/src/里面找到Redis-sentinel的启动程序。

强烈建议：
若是你使用的是redis2.6(sentinel版本为sentinel 1)，你最好应该使用redis2.8版本的sentinel 2，由于sentinel 1有不少的Bug，已经被官方弃用，因此强烈建议使用redis2.8以及sentinel 2。

运行Sentinel

运行sentinel有两种方式：

第一种
```
redis-sentinel /path/to/sentinel.conf
```
第二种
```
redis-server /path/to/sentinel.conf --sentinel
```
以上两种方式，都必须指定一个sentinel的配置文件sentinel.conf，若是不指定，将没法启动sentinel。sentinel默认监听26379端口，因此运行前必须肯定该端口没有被别的进程占用。

Sentinel的配置

Redis源码包中包含了一个sentinel.conf文件做为sentinel的配置文件，配置文件自带了关于各个配置项的解释。典型的配置项以下所示：

sentinel monitor mymaster 127.0.0.1 6379 2
sentinel down-after-milliseconds mymaster 60000
sentinel failover-timeout mymaster 180000
sentinel parallel-syncs mymaster 1 sentinel monitor resque 192.168.1.3 6380 4
sentinel down-after-milliseconds resque 10000
sentinel failover-timeout resque 180000
sentinel parallel-syncs resque 5

上面的配置项配置了两个名字分别为mymaster和resque的master，配置文件只须要配置master的信息就好啦，不用配置slave的信息，由于slave可以被自动检测到(master节点会有关于slave的消息)。须要注意的是，配置文件在sentinel运行期间是会被动态修改的，例如当发生主备切换时候，配置文件中的master会被修改成另一个slave。这样，以后sentinel若是重启时，就能够根据这个配置来恢复其以前所监控的redis集群的状态。

接下来咱们将一行一行地解释上面的配置项：

sentinel monitor mymaster 127.0.0.1 6379 2

这一行表明sentinel监控的master的名字叫作mymaster,地址为127.0.0.1:6379，行尾最后的一个2表明什么意思呢？咱们知道，网络是不可靠的，有时候一个sentinel会由于网络堵塞而误觉得一个master redis已经死掉了，当sentinel集群式，解决这个问题的方法就变得很简单，只须要多个sentinel互相沟通来确认某个master是否真的死了，这个2表明，当集群中有2个sentinel认为master死了时，才能真正认为该master已经不可用了。（sentinel集群中各个sentinel也有互相通讯，经过gossip协议）。

除了第一行配置，咱们发现剩下的配置都有一个统一的格式:

sentinel <option_name> <master_name> <option_value>

接下来咱们根据上面格式中的option_name一个一个来解释这些配置项：

down-after-milliseconds
sentinel会向master发送心跳PING来确认master是否存活，若是master在“必定时间范围”内不回应PONG 或者是回复了一个错误消息，那么这个sentinel会主观地(单方面地)认为这个master已经不可用了(subjectively down, 也简称为SDOWN)。而这个down-after-milliseconds就是用来指定这个“必定时间范围”的，单位是毫秒。

不过须要注意的是，这个时候sentinel并不会立刻进行failover主备切换，这个sentinel还须要参考sentinel集群中其余sentinel的意见，若是超过某个数量的sentinel也主观地认为该master死了，那么这个master就会被客观地(注意哦，此次不是主观，是客观，与刚才的subjectively down相对，此次是objectively down，简称为ODOWN)认为已经死了。须要一块儿作出决定的sentinel数量在上一条配置中进行配置。

parallel-syncs
在发生failover主备切换时，这个选项指定了最多能够有多少个slave同时对新的master进行同步，这个数字越小，完成failover所需的时间就越长，可是若是这个数字越大，就意味着越多的slave由于replication而不可用。能够经过将这个值设为 1 来保证每次只有一个slave处于不能处理命令请求的状态。

其余配置项在sentinel.conf中都有很详细的解释。
全部的配置均可以在运行时用命令SENTINEL SET command动态修改。

Sentinel的“仲裁会”

前面咱们谈到，当一个master被sentinel集群监控时，须要为它指定一个参数，这个参数指定了当须要判决master为不可用，而且进行failover时，所须要的sentinel数量，本文中咱们暂时称这个参数为票数

不过，当failover主备切换真正被触发后，failover并不会立刻进行，还须要sentinel中的大多数sentinel受权后才能够进行failover。
当ODOWN时，failover被触发。failover一旦被触发，尝试去进行failover的sentinel会去得到“大多数”sentinel的受权（若是票数比大多数还要大的时候，则询问更多的sentinel)
这个区别看起来很微妙，可是很容易理解和使用。例如，集群中有5个sentinel，票数被设置为2，当2个sentinel认为一个master已经不可用了之后，将会触发failover，可是，进行failover的那个sentinel必须先得到至少3个sentinel的受权才能够实行failover。
若是票数被设置为5，要达到ODOWN状态，必须全部5个sentinel都主观认为master为不可用，要进行failover，那么得得到全部5个sentinel的受权。

配置版本号

为何要先得到大多数sentinel的承认时才能真正去执行failover呢？

当一个sentinel被受权后，它将会得到宕掉的master的一份最新配置版本号，当failover执行结束之后，这个版本号将会被用于最新的配置。由于大多数sentinel都已经知道该版本号已经被要执行failover的sentinel拿走了，因此其余的sentinel都不能再去使用这个版本号。这意味着，每次failover都会附带有一个独一无二的版本号。咱们将会看到这样作的重要性。

并且，sentinel集群都遵照一个规则：若是sentinel A推荐sentinel B去执行failover，B会等待一段时间后，自行再次去对同一个master执行failover，这个等待的时间是经过failover-timeout配置项去配置的。从这个规则能够看出，sentinel集群中的sentinel不会再同一时刻并发去failover同一个master，第一个进行failover的sentinel若是失败了，另一个将会在必定时间内进行从新进行failover，以此类推。

redis sentinel保证了活跃性：若是大多数sentinel可以互相通讯，最终将会有一个被受权去进行failover.
redis sentinel也保证了安全性：每一个试图去failover同一个master的sentinel都会获得一个独一无二的版本号。

配置传播

一旦一个sentinel成功地对一个master进行了failover，它将会把关于master的最新配置经过广播形式通知其它sentinel，其它的sentinel则更新对应master的配置。

一个faiover要想被成功实行，sentinel必须可以向选为master的slave发送SLAVEOF NO ONE命令，而后可以经过INFO命令看到新master的配置信息。

当将一个slave选举为master并发送SLAVEOF NO ONE后，即便其它的slave还没针对新master从新配置本身，failover也被认为是成功了的，而后全部sentinels将会发布新的配置信息。

新配在集群中相互传播的方式，就是为何咱们须要当一个sentinel进行failover时必须被受权一个版本号的缘由。

每一个sentinel使用##发布/订阅##的方式持续地传播master的配置版本信息，配置传播的##发布/订阅##管道是：__sentinel__:hello。

由于每个配置都有一个版本号，因此以版本号最大的那个为标准。

举个栗子：假设有一个名为mymaster的地址为192.168.1.50:6379。一开始，集群中全部的sentinel都知道这个地址，因而为mymaster的配置打上版本号1。一段时候后mymaster死了，有一个sentinel被受权用版本号2对其进行failover。若是failover成功了，假设地址改成了192.168.1.50:9000，此时配置的版本号为2，进行failover的sentinel会将新配置广播给其余的sentinel，因为其余sentinel维护的版本号为1，发现新配置的版本号为2时，版本号变大了，说明配置更新了，因而就会采用最新的版本号为2的配置。

这意味着sentinel集群保证了第二种活跃性：一个可以互相通讯的sentinel集群最终会采用版本号最高且相同的配置。

SDOWN和ODOWN的更多细节

sentinel对于不可用有两种不一样的见解，一个叫主观不可用(SDOWN),另一个叫客观不可用(ODOWN)。SDOWN是sentinel本身主观上检测到的关于master的状态，ODOWN须要必定数量的sentinel达成一致意见才能认为一个master客观上已经宕掉，各个sentinel之间经过命令SENTINEL is_master_down_by_addr来得到其它sentinel对master的检测结果。

从sentinel的角度来看，若是发送了PING心跳后，在必定时间内没有收到合法的回复，就达到了SDOWN的条件。这个时间在配置中经过is-master-down-after-milliseconds参数配置。

当sentinel发送PING后，如下回复之一都被认为是合法的：

PING replied with +PONG. PING replied with -LOADING error. PING replied with -MASTERDOWN error.

其它任何回复（或者根本没有回复）都是不合法的。

从SDOWN切换到ODOWN不须要任何一致性算法，只须要一个gossip协议：若是一个sentinel收到了足够多的sentinel发来消息告诉它某个master已经down掉了，SDOWN状态就会变成ODOWN状态。若是以后master可用了，这个状态就会相应地被清理掉。

正如以前已经解释过了，真正进行failover须要一个受权的过程，可是全部的failover都开始于一个ODOWN状态。

ODOWN状态只适用于master，对于不是master的redis节点sentinel之间不须要任何协商，slaves和sentinel不会有ODOWN状态。

Sentinel之间和Slaves之间的自动发现机制

虽然sentinel集群中各个sentinel都互相链接彼此来检查对方的可用性以及互相发送消息。可是你不用在任何一个sentinel配置任何其它的sentinel的节点。由于sentinel利用了master的发布/订阅机制去自动发现其它也监控了统一master的sentinel节点。

经过向名为__sentinel__:hello的管道中发送消息来实现。

一样，你也不须要在sentinel中配置某个master的全部slave的地址，sentinel会经过询问master来获得这些slave的地址的。

每一个sentinel经过向每一个master和slave的发布/订阅频道__sentinel__:hello每秒发送一次消息，来宣布它的存在。
每一个sentinel也订阅了每一个master和slave的频道__sentinel__:hello的内容，来发现未知的sentinel，当检测到了新的sentinel，则将其加入到自身维护的master监控列表中。
每一个sentinel发送的消息中也包含了其当前维护的最新的master配置。若是某个sentinel发现
本身的配置版本低于接收到的配置版本，则会用新的配置更新本身的master配置。

在为一个master添加一个新的sentinel前，sentinel老是检查是否已经有sentinel与新的sentinel的进程号或者是地址是同样的。若是是那样，这个sentinel将会被删除，而把新的sentinel添加上去。

网络隔离时的一致性

redis sentinel集群的配置的一致性模型为最终一致性，集群中每一个sentinel最终都会采用最高版本的配置。然而，在实际的应用环境中，有三个不一样的角色会与sentinel打交道：

Redis实例.
Sentinel实例.
客户端.

为了考察整个系统的行为咱们必须同时考虑到这三个角色。

下面有个简单的例子，有三个主机，每一个主机分别运行一个redis和一个sentinel:

+-------------+ | Sentinel 1 | <--- Client A | Redis 1 (M) | +-------------+ | | +-------------+ | +------------+ | Sentinel 2 |-----+-- / partition / ----| Sentinel 3 | <--- Client B | Redis 2 (S) | | Redis 3 (M)| +-------------+ +------------+

在这个系统中，初始状态下redis3是master, redis1和redis2是slave。以后redis3所在的主机网络不可用了，sentinel1和sentinel2启动了failover并把redis1选举为master。

Sentinel集群的特性保证了sentinel1和sentinel2获得了关于master的最新配置。可是sentinel3依然持着的是就的配置，由于它与外界隔离了。

当网络恢复之后，咱们知道sentinel3将会更新它的配置。可是，若是客户端所链接的master被网络隔离，会发生什么呢？

客户端将依然能够向redis3写数据，可是当网络恢复后，redis3就会变成redis的一个slave，那么，在网络隔离期间，客户端向redis3写的数据将会丢失。

也许你不会但愿这个场景发生：

若是你把redis当作缓存来使用，那么你也许能容忍这部分数据的丢失。
但若是你把redis当作一个存储系统来使用，你也许就没法容忍这部分数据的丢失了。

由于redis采用的是异步复制，在这样的场景下，没有办法避免数据的丢失。然而，你能够经过如下配置来配置redis3和redis1，使得数据不会丢失。

min-slaves-to-write 1 min-slaves-max-lag 10

经过上面的配置，当一个redis是master时，若是它不能向至少一个slave写数据(上面的min-slaves-to-write指定了slave的数量)，它将会拒绝接受客户端的写请求。因为复制是异步的，master没法向slave写数据意味着slave要么断开链接了，要么不在指定时间内向master发送同步数据的请求了(上面的min-slaves-max-lag指定了这个时间)。

Sentinel状态持久化

snetinel的状态会被持久化地写入sentinel的配置文件中。每次当收到一个新的配置时，或者新建立一个配置时，配置会被持久化到硬盘中，并带上配置的版本戳。这意味着，能够安全的中止和重启sentinel进程。

无failover时的配置纠正

即便当前没有failover正在进行，sentinel依然会使用当前配置去设置监控的master。特别是：

根据最新配置确认为slaves的节点却声称本身是master(上文例子中被网络隔离后的的redis3)，这时它们会被从新配置为当前master的slave。
若是slaves链接了一个错误的master，将会被改正过来，链接到正确的master。

Slave选举与优先级

当一个sentinel准备好了要进行failover，而且收到了其余sentinel的受权，那么就须要选举出一个合适的slave来作为新的master。

slave的选举主要会评估slave的如下几个方面：

与master断开链接的次数
Slave的优先级
数据复制的下标(用来评估slave当前拥有多少master的数据)
进程ID

若是一个slave与master失去联系超过10次，而且每次都超过了配置的最大失联时间(down-after-milliseconds)，若是sentinel在进行failover时发现slave失联，那么这个slave就会被sentinel认为不适合用来作新master的。

更严格的定义是，若是一个slave持续断开链接的时间超过

(down-after-milliseconds * 10) + milliseconds_since_master_is_in_SDOWN_state

就会被认为失去选举资格。
符合上述条件的slave才会被列入master候选人列表，并根据如下顺序来进行排序：

sentinel首先会根据slaves的优先级来进行排序，优先级越小排名越靠前。
若是优先级相同，则查看复制的下标，哪一个从master接收的复制数据多，哪一个就靠前。
若是优先级和下标都相同，就选择进程ID较小的那个。

一个redis不管是master仍是slave，都必须在配置中指定一个slave优先级。要注意到master也是有可能经过failover变成slave的。

若是一个redis的slave优先级配置为0，那么它将永远不会被选为master。可是它依然会从master哪里复制数据。

Sentinel和Redis身份验证

当一个master配置为须要密码才能链接时，客户端和slave在链接时都须要提供密码。

master经过requirepass设置自身的密码，不提供密码没法链接到这个master。
slave经过masterauth来设置访问master时的密码。

可是当使用了sentinel时，因为一个master可能会变成一个slave，一个slave也可能会变成master，因此须要同时设置上述两个配置项。

Sentinel API

Sentinel默认运行在26379端口上，sentinel支持redis协议，因此可使用redis-cli客户端或者其余可用的客户端来与sentinel通讯。

有两种方式可以与sentinel通讯：

一种是直接使用客户端向它发消息
另一种是使用发布/订阅模式来订阅sentinel事件，好比说failover，或者某个redis实例运行出错，等等。

Sentinel命令

sentinel支持的合法命令以下：

PING sentinel回复PONG.
SENTINEL masters 显示被监控的全部master以及它们的状态.
SENTINEL master <master name> 显示指定master的信息和状态；
SENTINEL slaves <master name> 显示指定master的全部slave以及它们的状态；
SENTINEL get-master-addr-by-name <master name> 返回指定master的ip和端口，若是正在进行failover或者failover已经完成，将会显示被提高为master的slave的ip和端口。
SENTINEL reset <pattern> 重置名字匹配该正则表达式的全部的master的状态信息，清楚其以前的状态信息，以及slaves信息。
SENTINEL failover <master name> 强制sentinel执行failover，而且不须要获得其余sentinel的赞成。可是failover后会将最新的配置发送给其余sentinel。

动态修改Sentinel配置

从redis2.8.4开始，sentinel提供了一组API用来添加，删除，修改master的配置。

须要注意的是，若是你经过API修改了一个sentinel的配置，sentinel不会把修改的配置告诉其余sentinel。你须要本身手动地对多个sentinel发送修改配置的命令。

如下是一些修改sentinel配置的命令：

SENTINEL MONITOR <name> <ip> <port> <quorum> 这个命令告诉sentinel去监听一个新的master
SENTINEL REMOVE <name> 命令sentinel放弃对某个master的监听
SENTINEL SET <name> <option> <value> 这个命令很像Redis的CONFIG SET命令，用来改变指定master的配置。支持多个<option><value>。例如如下实例：
SENTINEL SET objects-cache-master down-after-milliseconds 1000

只要是配置文件中存在的配置项，均可以用SENTINEL SET命令来设置。这个还能够用来设置master的属性，好比说quorum(票数)，而不须要先删除master，再从新添加master。例如：

SENTINEL SET objects-cache-master quorum 5

增长或删除Sentinel

因为有sentinel自动发现机制，因此添加一个sentinel到你的集群中很是容易，你所须要作的只是监控到某个Master上，而后新添加的sentinel就能得到其余sentinel的信息以及master全部的slaves。

若是你须要添加多个sentinel，建议你一个接着一个添加，这样能够预防网络隔离带来的问题。你能够每一个30秒添加一个sentinel。最后你能够用SENTINEL MASTER mastername来检查一下是否全部的sentinel都已经监控到了master。

删除一个sentinel显得有点复杂：由于sentinel永远不会删除一个已经存在过的sentinel，即便它已经与组织失去联系好久了。
要想删除一个sentinel，应该遵循以下步骤：

中止所要删除的sentinel
发送一个SENTINEL RESET * 命令给全部其它的sentinel实例，若是你想要重置指定master上面的sentinel，只须要把*号改成特定的名字，注意，须要一个接一个发，每次发送的间隔不低于30秒。
检查一下全部的sentinels是否都有一致的当前sentinel数。使用SENTINEL MASTER mastername 来查询。

删除旧master或者不可达slave

sentinel永远会记录好一个Master的slaves，即便slave已经与组织失联很久了。这是颇有用的，由于sentinel集群必须有能力把一个恢复可用的slave进行从新配置。

而且，failover后，失效的master将会被标记为新master的一个slave，这样的话，当它变得可用时，就会重新master上复制数据。

而后，有时候你想要永久地删除掉一个slave(有可能它曾经是个master)，你只须要发送一个SENTINEL RESET master命令给全部的sentinels，它们将会更新列表里可以正确地复制master数据的slave。

发布/订阅

客户端能够向一个sentinel发送订阅某个频道的事件的命令，当有特定的事件发生时，sentinel会通知全部订阅的客户端。须要注意的是客户端只能订阅，不能发布。

订阅频道的名字与事件的名字一致。例如，频道名为sdown 将会发布全部与SDOWN相关的消息给订阅者。

若是想要订阅全部消息，只需简单地使用PSUBSCRIBE *

如下是全部你能够收到的消息的消息格式，若是你订阅了全部消息的话。第一个单词是频道的名字，其它是数据的格式。

注意：如下的instance details的格式是：

<instance-type> <name> <ip> <port> @ <master-name> <master-ip> <master-port>

若是这个redis实例是一个master，那么@以后的消息就不会显示。

  +reset-master <instance details> -- 当master被重置时.
    +slave <instance details> -- 当检测到一个slave并添加进slave列表时.
    +failover-state-reconf-slaves <instance details> -- Failover状态变为reconf-slaves状态时
    +failover-detected <instance details> -- 当failover发生时
    +slave-reconf-sent <instance details> -- sentinel发送SLAVEOF命令把它从新配置时
    +slave-reconf-inprog <instance details> -- slave被从新配置为另一个master的slave，但数据复制还未发生时。
    +slave-reconf-done <instance details> -- slave被从新配置为另一个master的slave而且数据复制已经与master同步时。
    -dup-sentinel <instance details> -- 删除指定master上的冗余sentinel时 (当一个sentinel从新启动时，可能会发生这个事件).
    +sentinel <instance details> -- 当master增长了一个sentinel时。
    +sdown <instance details> -- 进入SDOWN状态时;
    -sdown <instance details> -- 离开SDOWN状态时。
    +odown <instance details> -- 进入ODOWN状态时。
    -odown <instance details> -- 离开ODOWN状态时。
    +new-epoch <instance details> -- 当前配置版本被更新时。
    +try-failover <instance details> -- 达到failover条件，正等待其余sentinel的选举。
    +elected-leader <instance details> -- 被选举为去执行failover的时候。
    +failover-state-select-slave <instance details> -- 开始要选择一个slave当选新master时。
    no-good-slave <instance details> -- 没有合适的slave来担当新master
    selected-slave <instance details> -- 找到了一个适合的slave来担当新master
    failover-state-send-slaveof-noone <instance details> -- 当把选择为新master的slave的身份进行切换的时候。
    failover-end-for-timeout <instance details> -- failover因为超时而失败时。
    failover-end <instance details> -- failover成功完成时。
    switch-master <master name> <oldip> <oldport> <newip> <newport> -- 当master的地址发生变化时。一般这是客户端最感兴趣的消息了。
    +tilt -- 进入Tilt模式。
    -tilt -- 退出Tilt模式。

TILT 模式

redis sentinel很是依赖系统时间，例如它会使用系统时间来判断一个PING回复用了多久的时间。
然而，假如系统时间被修改了，或者是系统十分繁忙，或者是进程堵塞了，sentinel可能会出现运行不正常的状况。
当系统的稳定性降低时，TILT模式是sentinel能够进入的一种的保护模式。当进入TILT模式时，sentinel会继续监控工做，可是它不会有任何其余动做，它也不会去回应is-master-down-by-addr这样的命令了，由于它在TILT模式下，检测失效节点的能力已经变得让人不可信任了。
若是系统恢复正常，持续30秒钟，sentinel就会退出TITL模式。

-BUSY状态

注意：该功能还未实现。

当一个脚本的运行时间超过配置的运行时间时，sentinel会返回一个-BUSY 错误信号。若是这件事发生在触发一个failover以前，sentinel将会发送一个SCRIPT KILL命令，若是script是只读的话，就能成功执行。

参考文档：

Redis Sentinel机制与用法（一）

Redis Sentinel机制与用法（二）

Redis Sentinel(哨兵)：集群解决方案

Redis Sentinel Documentation