Redis（5.0） 集群搭建

一、为了达到redis数据库的高可用，因此须要在单机的基础上创建集群，首先了解下它的集群模式，大概有如下几种：

一、主从复制

二、哨兵模式

三、Redis官方提供的Cluster集群模式(服务端)

四、Jedis sharding集群(客户端sharding)

五、利用中间件代理，好比豌豆荚的codis等
复制代码

二、简单分析一下原理以及优缺点

2.一、主从复制（Master-Slave Replication）:

主从复制原理：

• 从服务器链接主服务器，发送SYNC命令；

• 主服务器接收到SYNC命名后，开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的全部写命令；

• 主服务器BGSAVE执行完后，向全部从服务器发送快照文件，并在发送期间继续记录被执行的写命令；

• 从服务器收到快照文件后丢弃全部旧数据，载入收到的快照；

• 主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令；

• 从服务器完成对快照的载入，开始接收命令请求，并执行来自主服务器缓冲区的写命令；（从服务器初始化完成）

• 主服务器每执行一个写命令就会向从服务器发送相同的写命令，从服务器接收并执行收到的写命令（从服务器初始化完成后的操做）

• 一个master能够拥有多个slave，可是一个slave只能对应一个master

优势：

• 支持主从复制，主机会自动将数据同步到从机，能够进行读写分离
• 为了分载Master的读操做压力，Slave服务器能够为客户端提供只读操做的服务，写服务仍然必须由Master来完成
• Slave一样能够接受其它Slaves的链接和同步请求，这样能够有效的分载Master的同步压力。
• Master Server是以非阻塞的方式为Slaves提供服务。因此在Master-Slave同步期间，客户端仍然能够提交查询或修改请求。
• Slave Server一样是以非阻塞的方式完成数据同步。在同步期间，若是有客户端提交查询请求，Redis则返回同步以前的数据

缺点：

• Redis不具有自动容错和恢复功能，主机从机的宕机都会致使前端部分读写请求失败，须要等待机器重启或者手动切换前端的IP才能恢复。
• 主机宕机，宕机前有部分数据未能及时同步到从机，切换IP后还会引入数据不一致的问题，下降了系统的可用性。
• Redis较难支持在线扩容，在集群容量达到上限时在线扩容会变得很复杂。

2.二、哨兵模式:

当主服务器中断服务后，能够将一个从服务器升级为主服务器，以便继续提供服务，可是这个过程须要人工手动来操做。 为此，Redis 2.8中提供了哨兵工具来实现自动化的系统监控和故障恢复功能。

哨兵的做用就是监控Redis系统的运行情况。它的功能包括如下两个。

（1）监控主服务器和从服务器是否正常运行。 
（2）主服务器出现故障时自动将从服务器转换为主服务器。
复制代码

哨兵的工做方式：

• 每一个Sentinel（哨兵）进程以每秒钟一次的频率向整个集群中的Master主服务器，Slave从服务器以及其余Sentinel（哨兵）进程发送一个 PING 命令。
• 若是一个实例（instance）距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值， 则这个实例会被 Sentinel（哨兵）进程标记为主观下线（SDOWN）
• 若是一个Master主服务器被标记为主观下线（SDOWN），则正在监视这个Master主服务器的全部 Sentinel（哨兵）进程要以每秒一次的频率确认Master主服务器的确进入了主观下线状态
• 当有足够数量的 Sentinel（哨兵）进程（大于等于配置文件指定的值）在指定的时间范围内确认Master主服务器进入了主观下线状态（SDOWN）， 则Master主服务器会被标记为客观下线（ODOWN）
• 在通常状况下， 每一个 Sentinel（哨兵）进程会以每 10 秒一次的频率向集群中的全部Master主服务器、Slave从服务器发送 INFO 命令。
• 当Master主服务器被 Sentinel（哨兵）进程标记为客观下线（ODOWN）时，Sentinel（哨兵）进程向下线的 Master主服务器的全部 Slave从服务器发送 INFO 命令的频率会从 10 秒一次改成每秒一次。
• 若没有足够数量的 Sentinel（哨兵）进程赞成 Master主服务器下线， Master主服务器的客观下线状态就会被移除。若 Master主服务器从新向 Sentinel（哨兵）进程发送 PING 命令返回有效回复，Master主服务器的主观下线状态就会被移除。

优势：

• 哨兵模式是基于主从模式的，全部主从的优势，哨兵模式都具备。
• 主从能够自动切换，系统更健壮，可用性更高。

缺点：

• Redis较难支持在线扩容，在集群容量达到上限时在线扩容会变得很复杂。

2.三、Redis官方 Cluster集群模式

redis的哨兵模式基本已经能够实现高可用，读写分离 ，可是在这种模式下每台redis服务器都存储相同的数据，很浪费内存，因此在redis3.0上加入了cluster模式，实现的redis的分布式存储，也就是说每台redis节点上存储不一样的内容。

Redis-Cluster采用无中心结构,它的特色以下：

• 全部的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。

• 节点的fail是经过集群中超过半数的节点检测失效时才生效。

• 客户端与redis节点直连,不须要中间代理层.客户端不须要链接集群全部节点,链接集群中任何一个可用节点便可。

工做方式：

在redis的每个节点上，都有这么两个东西，一个是插槽（slot），它的的取值范围是：0-16383。还有一个就是cluster，能够理解为是一个集群管理的插件。当咱们的存取的key到达的时候，redis会根据crc16的算法得出一个结果，而后把结果对 16384 求余数，这样每一个 key 都会对应一个编号在 0-16383 之间的哈希槽，经过这个值，去找到对应的插槽所对应的节点，而后直接自动跳转到这个对应的节点上进行存取操做。

为了保证高可用，redis-cluster集群引入了主从模式，一个主节点对应一个或者多个从节点，当主节点宕机的时候，就会启用从节点。当其它主节点ping一个主节点A时，若是半数以上的主节点与A通讯超时，那么认为主节点A宕机了。若是主节点A和它的从节点A1都宕机了，那么该集群就没法再提供服务了。

2.四、Jedis sharding集群

Redis Sharding能够说是在Redis cluster出来以前业界广泛的采用方式，其主要思想是采用hash算法将存储数据的key进行hash散列，这样特定的key会被定为到特定的节点上。

庆幸的是，Java Redis客户端驱动Jedis已支持Redis Sharding功能，即ShardedJedis以及结合缓存池的ShardedJedisPool

Jedis的Redis Sharding实现具备以下特色：

• 采用一致性哈希算法，将key和节点name同时hashing，而后进行映射匹配，采用的算法是MURMUR_HASH。采用一致性哈希而不是采用简单相似哈希求模映射的主要缘由是当增长或减小节点时，不会产生因为从新匹配形成的rehashing。一致性哈希只影响相邻节点key分配，影响量小。
• 为了不一致性哈希只影响相邻节点形成节点分配压力，ShardedJedis会对每一个Redis节点根据名字(没有，Jedis会赋予缺省名字)会虚拟化出160个虚拟节点进行散列。根据权重weight，也可虚拟化出160倍数的虚拟节点。用虚拟节点作映射匹配，能够在增长或减小Redis节点时，key在各Redis节点移动再分配更均匀，而不是只有相邻节点受影响。
• ShardedJedis支持keyTagPattern模式，即抽取key的一部分keyTag作sharding，这样经过合理命名key，能够将一组相关联的key放入同一个Redis节点，这在避免跨节点访问相关数据时很重要。 固然，Redis Sharding这种轻量灵活方式必然在集群其它能力方面作出妥协。好比扩容，当想要增长Redis节点时，尽管采用一致性哈希，毕竟仍是会有key匹配不到而丢失，这时须要键值迁移。 做为轻量级客户端sharding，处理Redis键值迁移是不现实的，这就要求应用层面容许Redis中数据丢失或从后端数据库从新加载数据。但有些时候，击穿缓存层，直接访问数据库层，会对系统访问形成很大压力。

2.五、利用中间件代理 中间件的做用是将咱们须要存入redis中的数据的key经过一套算法计算得出一个值。而后根据这个值找到对应的redis节点，将这些数据存在这个redis的节点中。

经常使用的中间件有这几种

• Twemproxy
• Codis
• nginx

三、几种集群模式大概有了了解，如今搭建开始集群

因为我使用了redis5.0， 搭建过程当中也是遇到了一个坑，redis5.0使用redis-cli做为建立集群的命令，使用c语言实现，再也不使用ruby语言，redis3.0使用redis-trib.rb建立集群，且须要安装ruby。

gcc的环境以前已经安装过了，如今不须要处理，直接下一步。 3.一、将以前安装好的redis文件，复制到一个新的文件夹redis-cluster下 ，并在新文件夹下复制成6份。

注意要将.rdb和.aof后缀的持久化文件删除，若是有的话。

这里就不考虑3.0 的搭建方式了

3.二、将六个节点的redis.conf配置文件按照以下进行修改

若是是同一台主机的话，端口必须不一样。不一样主机能够相同。 我这里使用同一台主机，端口：7001-7006。

daemonize yes

port **** #配置本身的节点端口

cluster-enabled yes # 开启集群
复制代码

3.3启动、关闭脚本

启动脚本：

cd redis1
./src/redis-server redis.conf
cd ..
cd redis2
./src/redis-server redis.conf
cd ..
cd redis3
./src/redis-server redis.conf
cd ..
cd redis4
./src/redis-server redis.conf
cd ..
cd redis5
./src/redis-server redis.conf
cd ..
cd redis6
./src/redis-server redis.conf
cd ..

复制代码

关闭脚本：

./redis1/redis-cli -p 7001 shutdown
./redis1/redis-cli -p 7002 shutdown
./redis1/redis-cli -p 7003 shutdown
./redis1/redis-cli -p 7004 shutdown
./redis1/redis-cli -p 7005 shutdown
./redis1/redis-cli -p 7006 shutdown

复制代码

3.四、修改权限

chmod 777 start-all.sh stop-all.sh
复制代码

3.五、启动节点

./start-all.sh

# 查看redis进程
ps -aux | grep redis
复制代码

3.六、建立集群

redis-cli --cluster create  192.0.0.179:7001 192.0.0.179:7002 192.0.0.179:7003 192.0.0.179:7004 192.0.0.179:7005 192.0.0.179:7006 --cluster-replicas 1
复制代码

能够看到6个节点配分配成3个主节点，3个从节点。

3.七、查询集群信息

集群建立成功登录任意redis结点查询集群中的节点状况。

客户端以集群方式登录：

redis-cli -c -h 192.0.0.179 -p 7001
#其中-c表示以集群方式链接redis，-h指定ip地址，-p指定端口号
复制代码

查询集群结点信息：

cluster nodes
复制代码

3.八、测试

192.0.0.179:7001> set a 123456
-> Redirected to slot [15495] located at 192.0.0.179:7003
OK
192.0.0.179:7003> get a
"123456"
192.0.0.179:7003> get a
"123456"
192.0.0.179:7003> set b 44444444
-> Redirected to slot [3300] located at 192.0.0.179:7001
OK
192.0.0.179:7001> get b
"44444444"
192.0.0.179:7001> 

复制代码

能够看到redis 集群会根据计算为咱们分配hash槽，以分配不一样的节点

3.九、使用jedis链接

package com.pc.jedis.test;
 
import java.util.HashSet;
import java.util.Set;
 
import redis.clients.jedis.HostAndPort;
import redis.clients.jedis.JedisCluster;
 

public class JedisClusterTest {
    public static void main(String[] args) {
        // 建立并填充节点信息
        Set<HostAndPort> nodes = new HashSet<>();
        nodes.add(new HostAndPort("192.0.0.179", 7001));
        nodes.add(new HostAndPort("192.0.0.179", 7002));
        nodes.add(new HostAndPort("192.0.0.179", 7003));
        nodes.add(new HostAndPort("192.0.0.179", 7004));
        nodes.add(new HostAndPort("192.0.0.179", 7005));
        nodes.add(new HostAndPort("192.0.0.179", 7006));
 
        // 建立JedisCluster对象
        JedisCluster jedisCluster = new JedisCluster(nodes);
 
        // 使用jedisCluster操做redis
        String key = "clusterTest";
        String setResult = jedisCluster.set(key, "redis集群搭建");
        System.out.println(setResult);
 
        String getResult = jedisCluster.get(key);
        System.out.println(getResult);
 
        // 关闭jedisCluster（程序执行完后才能关闭，内部封装了链接池）
        jedisCluster.close();
    }
}
复制代码