【Redis】集群方式

时间 2020-07-25

标签 Redis 集群方式栏目 Redis 繁體版

原文原文链接

1、概述
- 1.1 Redis3.0版本以前
- 1.2 常见集群方案
2、Redis-Cluster原理
3、搭建集群方案
4、Redis集群的几个注意事项
5、集群事务

1、概述

1.1 Redis3.0版本以前

3.0版本以前的redis是不支持集群的，咱们的redis若是想要集群的话，就须要一个中间件，而后这个中间件负责将咱们须要存入redis中的数据的key经过一套算法计算得出一个值。而后根据这个值找到对应的redis节点，将这些数据存在这个redis的节点中。
在取值的时候，一样先将key进行计算，获得对应的值，而后就去找对应的redis节点，从对应的节点中取出对应的值。
这样作有不少很差的地方，好比说咱们的这些计算都须要在系统中去进行，因此会增长系统的负担。还有就是这种集群模式下，某个节点挂掉，其余的节点没法知道。并且也不容易对每一个节点进行负载均衡。

1.2 常见集群方案

官方方案：redis-cluster（强烈推荐），3.0以后开始实现
客户端分片技术（不推荐），扩容/缩容时，必须手动调整分片程序，出现故障不能自动转移
可使用主从复制方式（不推荐）：数据很是冗余，浪费内存
使用一些代理工具

2、Redis-Cluster原理

Redis 是一个开源的 key-value 存储系统，因为出众的性能，大部分互联网企业都用来作服务器端缓存。Redis 在3.0版本前只支持单实例模式，虽然支持主从模式、哨兵模式部署来解决单点故障，可是如今互联网企业动辄大几百G的数据，可彻底是无法知足业务的需求，因此，Redis 在 3.0 版本之后就推出了集群模式。
Redis 集群采用了P2P的模式，彻底去中心化。Redis 把全部的 Key 分红了 16384 个 slot，每一个 Redis 实例负责其中一部分 slot 。集群中的
全部信息（节点、端口、slot等），都经过节点之间按期的数据交换而更新。
Redis 客户端能够在任意一个 Redis 实例发出请求，若是所需数据不在该实例中，经过重定向命令引导客户端访问所需的实例。

原理图

在这个图中，每个蓝色的圈都表明着一个redis的服务器节点。它们任何两个节点之间都是相互连通的。客户端能够与任何一个节点相链接，而后就能够访问集群中的任何一个节点。对其进行存取和其余操做。
那么redis是怎么作到的呢？首先，在redis的每个节点上，都有这么两个东西，一个是插槽（slot）能够理解为是一个能够存储两个数值的一个变量这个变量的取值范围是：0-16383。还有一个就是cluster我我的把这个cluster理解为是一个集群管理的插件。当咱们的存取的key到达的时候，redis会根据crc16的算法得出一个结果，而后把结果对 16384 求余数，这样每一个 key 都会对应一个编号在 0-16383 之间的哈希槽，经过这个值，去找到对应的插槽所对应的节点，而后直接自动跳转到这个对应的节点上进行存取操做。
还有就是由于若是集群的话，是有好多个redis一块儿工做的，那么，就须要这个集群不是那么容易挂掉，因此呢，理论上就应该给集群中的每一个节点至少一个备用的redis服务。这个备用的redis称为从节点（slave）。那么这个集群是如何判断是否有某个节点挂掉了呢？
首先要说的是，每个节点都存有这个集群全部主节点以及从节点的信息。
它们之间经过互相的ping-pong判断是否节点能够链接上。若是有一半以上的节点去ping一个节点的时候没有回应，集群就认为这个节点宕机了，而后去链接它的备用节点。若是某个节点和全部从节点所有挂掉，咱们集群就进入faill状态。还有就是若是有一半以上的主节点宕机，那么咱们集群一样进入发力了状态。这就是咱们的redis的投票机制，具体原理以下图所示：

155609

这套架构的特色：
- 分片算法：基于 slot hash桶；
- 分片实例之间相互独立，每组一个master 实例和多个slave；
- 路由信息存放到第三方存储组件，如 zookeeper 或etcd
- 旁路组件探活

3、搭建集群方案

3.1 准备工做

安装部署任何一个应用其实都很简单，只要安装步骤一步一步来就好了。下面说一下 Redis 集群搭建规划，因为集群至少须要6个节点（3主3从模式），因此，若是没有这么多机器，本地也起不了那么多虚拟机（电脑太烂），如今计划是在一台机器上模拟一个集群，固然，这和生产环境的集群搭建没本质区别。html

安装一个Linux虚拟机，开启Linux，链接Linux
先关闭防火墙
而后安装纯净版本的redis Redis安装
修改redis.conf 文件将 bind 改成当前Linux服务器的ip地址
并将redis改成后台启动。

3.2 建立模拟集群的文件夹

咱们计划集群中 Redis 节点的端口号为 9001-9006 ，端口号即集群下各实例文件夹。数据存放在端口号/data 文件夹中。node

mkdir /usr/local/redis-cluster
cd redis-cluster/
mkdir -p 9001/data 9002/data 9003/data 9004/data 9005/data 9006/data

3.3 复制脚本

　　在 /usr/local/redis-cluster 下建立 bin 文件夹，用来存放集群运行脚本，并把安装好的 Redis 的 src 路径下的运行脚本拷贝过来。看命令：git

cd /usr/local/redis-cluster
mkdir bin    
cd /usr/local/redis-3.2.9/src
cp mkreleasehdr.sh redis-benchmark redis-check-aof  redis-cli redis-server redis-trib.rb /usr/local/redis-cluster/bin

3.4 复制一个新 Redis 实例

##咱们如今从已安装好的 Redis 中复制一个新的实例到 9001 文件夹，并修改 redis.conf 配置。

cp -r /usr/local/redis    /usr/local/redis-cluster/9001
    
##注意，修改 redis.conf 配置和单点惟一区别是下面部分，其他仍是常规的这几项：
port 9001（每一个节点的端口号）
daemonize yes
bind 192.168.140.137（绑定当前机器 IP）
dir /usr/local/redis-cluster/9001/data/（数据文件存放位置）
pidfile /var/run/redis_9001.pid（pid 9001和port要对应）
cluster-enabled yes（启动集群模式）
cluster-config-file nodes-9001.conf（9001和port要对应）
cluster-node-timeout 15000
appendonly yes

3.5 再复制出五个新 Redis 实例

　　咱们已经完成了一个节点了，其实接下来就是机械化的再完成另外五个节点，其实能够这么作：把 9001 实例复制到另外五个文件夹中，惟一要修改的就是 redis.conf 中的全部和端口的相关的信息便可，其实就那么四个位置。开始操做:github

\cp -rf /usr/local/redis-cluster/9001/*   /usr/local/redis-cluster/9002
\cp -rf /usr/local/redis-cluster/9001/*   /usr/local/redis-cluster/9003
\cp -rf /usr/local/redis-cluster/9001/*   /usr/local/redis-cluster/9004
\cp -rf /usr/local/redis-cluster/9001/*   /usr/local/redis-cluster/9005
\cp -rf /usr/local/redis-cluster/9001/*   /usr/local/redis-cluster/9006
    
## \cp -rf 命令是不使用别名来复制，由于 cp 实际上是别名 cp -i，操做时会有交互式确认，比较烦人。

3.6 修改 9002-9006 的 redis.conf 文件

其实很是简单了，你经过搜索会发现其实只有四个点须要修改，咱们全局替换下吧，进入相应的节点文件夹，作替换就行了。命令很是简单:redis

vim /usr/local/redis-cluster/9002/redis/etc/redis.conf   
vim /usr/local/redis-cluster/9003/redis/etc/redis.conf
vim /usr/local/redis-cluster/9004/redis/etc/redis.conf
vim /usr/local/redis-cluster/9005/redis/etc/redis.conf
vim /usr/local/redis-cluster/9006/redis/etc/redis.conf
      
:%s/9001/9002
:%s/9001/9003
:%s/9001/9004
:%s/9001/9005
:%s/9001/9006
    
    
## 其实咱们也就是替换了下面这四行：
    
port 9002
dir /usr/local/redis-cluster/9002/data/
cluster-config-file nodes-9002.conf
pidfile /var/run/redis_9002.pid

3.7 启动9001-9006六个节点

##这里用了/usr/local/redis/bin/ 目录下的redis服务启动的，
## 也可使用9001各个目录下的redis服务分别启动

/usr/local/redis/bin/redis-server  /usr/local/redis-cluster/9001/redis/etc/redis.conf
/usr/local/redis/bin/redis-server  /usr/local/redis-cluster/9002/redis/etc/redis.conf
/usr/local/redis/bin/redis-server  /usr/local/redis-cluster/9003/redis/etc/redis.conf
/usr/local/redis/bin/redis-server  /usr/local/redis-cluster/9004/redis/etc/redis.conf
/usr/local/redis/bin/redis-server  /usr/local/redis-cluster/9005/redis/etc/redis.conf
/usr/local/redis/bin/redis-server  /usr/local/redis-cluster/9006/redis/etc/redis.conf

启动成功看下图：算法

3.8 随便找一个节点测试试

/usr/local/redis-cluster/9001/redis/bin/redis-cli -c -h 192.168.140.137  -p 9001

**添加数据是会报错： ** spring

(error) CLUSTERDOWN Hash slot not served

　　这是由于虽然咱们配置并启动了 Redis 集群服务，可是他们暂时还并不在一个集群中，互相直接发现不了，并且尚未可存储的位置，就是所谓的slot（槽）。shell

3.9 安装集群所需软件

##因为 Redis 集群须要使用 ruby 命令，因此咱们须要安装 ruby 和相关接口。
yum install ruby
yum install rubygems
gem install redis ##执行此行命令会报错， 要使用本地上传方式

下载地址：安装包GitHubvim

从本地上传到Linux
将此文件拖到usr/local目录下缓存

文件上传到Linux中后进入/usr/local/到执行下面的命令

gem install -l redis-3.2.1.gem

3.10集群环境测试

/usr/local/redis-cluster/bin/redis-trib.rb create --replicas 1 192.168.140.137:9001 192.168.140.137:9002 192.168.140.137:9003 192.168.140.137:9004 192.168.140.137:9005 192.168.140.137:9006

执行效果以下，发现有三主三备：

　　目前来看，9001-9003 为主节点，9004-9006 为从节点，并向你确认是否赞成这么配置。输入 yes 后，会开始集群建立。

简单解释一下这个命令：调用 ruby 命令来进行建立集群，--replicas 1 表示主从复制比例为 1:1，即一个主节点对应一个从节点；而后，默认给咱们分配好了每一个主节点和对应从节点服务，以及 solt 的大小，由于在 Redis 集群中有且仅有 16383 个 solt ，默认状况会给咱们平均分配，固然你能够指定，后续的增减节点也能够从新分配。

M: fbec3c1091ff20adbabf8d144043cc3abae9a7f9  ##为主节点Id
    
S: 09726b68f4a1c849e8e188bd45d506aed17fd970 192.168.140.137:9004
slots: (0 slots) slave
replicates fbec3c1091ff20adbabf8d144043cc3abae9a7f9 ##从节点下对应主节点Id

3.11 验证集群环境

## 这里要输入-c，表示集群环境
/usr/local/redis-cluster/9001/redis/bin/redis-cli -c -h 192.168.140.137  -p 9001 
set name 123456 ## 会发现它自动跳转到9002redis上面

3.12 SpringBoot整合Redis集群

spring:
  redis:
    database: 0
#    host: 132.168.44.127
#    port: 6379
#    password: 123456
    jedis:
      pool:
        max-active: 8
        max-wait: -1
        max-idle: 8
        min-idle: 0
    timeout: 10000
    cluster:
      nodes:
        - 192.168.140.137:9001
        - 192.168.140.137:9002
        - 192.168.140.137:9003
        - 192.168.140.137:9004
        - 192.168.140.137:9005
        - 192.168.140.137:9006
###扩展注册方式 代码获取到配置文件 灵活该密码

4、Redis集群的几个注意事项

Redis集群使用CRC16对key进行hash，集群固定使用16384对hash出来的值取模。由于取模结果必定在16384以内，因此集群中的sharding（分片）实际就是如何将16384个值在n个主节点间分配（从节点是主节点的近似副本，缘由见3），如何分配取决于你的配置。
Redis生产级集群须要容灾，为此，通常部署为n个主+n*m个从。n大小主要取决于单机性能，m大小主要取决于机器稳定性。
Redis集群是弱一致性的，此处的一致，主要指主从之间的数据一致性。主要是由于redis在作数据更新时，不要求主从数据同步复制必定要成功。
集群最小的主数量为3，主数量应为奇数，以便作选举判决。

5、集群事务

Redis集群默圦是不支持亊各，可是亊各能够在単独节点上能够支持写插件Redis+Lua