为何要用redis-cluster
并发问题
redis官方生成能够达到 10万/每秒,每秒执行10万条命令 假如业务须要每秒100万的命令执行呢？
数据量太大
一台服务器内存正常是16~256G，假如你的业务须要500G内存，html
新浪微博做为世界上最大的redis存储，就超过1TB的数据，去哪买这么大的内存条？各大公司有本身的解决方案，推出各自的集群功能，核心思想都是将数据分片（sharding）存储在多个redis实例中，每一片就是一个redis实例。node
各大企业集群方案： twemproxy由Twitter开源 Codis由豌豆荚开发，基于GO和C开发 redis-cluster官方3.0版本后的集群方案
解决方案以下redis
一、配置一个超级牛逼的计算机，超大内存，超强cpu，可是问题是。。。。算法
2.正确的应该是考虑分布式，加机器，把数据分到不一样的位置，分摊集中式的压力，一堆机器作一件事数据库
客户端分片
redis3.0集群采用P2P模式，彻底去中心化，将redis全部的key分红了16384个槽位，每一个redis实例负责一部分slot，集群中的全部信息经过节点数据交换而更新。vim
redis实例集群主要思想是将redis数据的key进行散列，经过hash函数特定的key会映射到指定的redis节点上
数据分布原理图
数据分布理论
分布式数据库首要解决把整个数据集按照分区规则映射到多个节点的问题，即把数据集划分到多个节点上，每一个节点负责整个数据的一个子集。安全
常见的分区规则有哈希分区和顺序分区。Redis Cluster采用哈希分区规则，所以接下来会讨论哈希分区规则。ruby
- 节点取余分区
- 一致性哈希分区
- 虚拟槽分区(redis-cluster采用的方式)
顺序分区
哈希分区
例如按照节点取余的方式，分三个节点服务器
1~100的数据对3取余，能够分为三类架构
- 余数为0
- 余数为1
- 余数为2
那么一样的分4个节点就是hash(key)%4
节点取余的优势是简单，客户端分片直接是哈希+取余
虚拟槽分区
Redis Cluster采用虚拟槽分区
虚拟槽分区巧妙地使用了哈希空间，使用分散度良好的哈希函数把全部的数据映射到一个固定范围内的整数集合，整数定义为槽（slot）。 Redis Cluster槽的范围是0 ～ 16383。 槽是集群内数据管理和迁移的基本单位。采用大范围的槽的主要目的是为了方便数据的拆分和集群的扩展， 每一个节点负责必定数量的槽。
搭建redis cluster
搭建集群分为几部
- 准备节点（几匹马儿）
- 节点通讯（几匹马儿分配主从）
- 分配槽位给节点（slot分配给马儿）
redis-cluster集群架构
多个服务端，负责读写，彼此通讯，redis指定了16384个槽。 多匹马儿，负责运输数据，马儿分配16384个槽位，管理数据。 ruby的脚本自动就把分配槽位这事作了
环境准备,6个redis数据库节点
redis-7000.conf redis-7001.conf redis-7002.conf redis-7003.conf redis-7004.conf redis-7005.conf
每一个配置文件的内容,仅仅是端口的不一样7000~7005
配置内容以下：
port 7000 daemonize yes dir "/opt/redis/data/7000" logfile "7000.log" dbfilename "dump-7000.rdb" cluster-enabled yes #开启集群模式 cluster-config-file nodes-7000.conf #集群内部的配置文件 cluster-require-full-coverage no #redis cluster须要16384个slot都正常的时候才能对外提供服务，换句话说，只要任何一个slot异常那么整个cluster不对外提供服务。 所以生产环境通常为no
快速生成6个节点的配置文件
mkdir -p /opt/redis/data/{7000,7001,7002,7003,7004,7005}
sed "s/7000/7001/g" redis-7000.conf > redis-7001.conf
sed "s/7000/7002/g" redis-7000.conf > redis-7002.conf
sed "s/7000/7003/g" redis-7000.conf > redis-7003.conf
sed "s/7000/7004/g" redis-7000.conf > redis-7004.conf
sed "s/7000/7005/g" redis-7000.conf > redis-7005.conf
启动6个redis节点
redis-server redis-7000.conf redis-server redis-7001.conf redis-server redis-7002.conf redis-server redis-7003.conf redis-server redis-7004.conf redis-server redis-7005.conf
基于ruby语言的脚本工具自动分配槽位
分配槽位,开始放入数据,查看数据流向
1.下载ruby的解释器
wget https://cache.ruby-lang.org/pub/ruby/2.3/ruby-2.3.1.tar.gz
2.解压缩ruby的源码包
tar -zxvf ruby-2.3.1.tar.gz
3.进入ruby的源码包目录,编译三部曲
cd ruby-2.3.1
./configure --prefix=/opt/ruby231
make && make install
3.配置ruby的环境变量
/opt/ruby231/bin
vim /etc/profile
写入PATH=""
4.读取这个/etc/profile
source /etc/profile
5.下载ruby操做redis的模块
wget http://rubygems.org/downloads/redis-3.3.0.gem
#安装ruby操做redis的模块
gem install -l redis-3.3.0.gem
6.一键分配redis集群的槽位
#查找一下这个命令的绝对路径
find / -name redis-trib.rb
#这个数字 1 表明,每一个redis主库,只有一个redis从库
/opt/redis-4.0.10/src/redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005
开启集群状态功能
开启了集群状态功能后,登陆数据库,查看数据写入流向
/opt/redis-4.0.10/src/redis-trib.rb add-node --slave 127.0.0.1:7003 127.0.0.1:7000
查看集群状态： redis-cli -p 7000 cluster info redis-cli -p 7001 cluster info redis-cli -p 7002 cluster info redis-cli -p 7003 cluster info redis-cli -p 7004 cluster info redis-cli -p 7005 cluster info
测试写入集群数据，登陆集群必须使用redis-cli -c -p 7000必须加上-c参数
各节点之间的数据共享,可是数据的保存位置是根据算法决定的;意思就是咱们在哪一个节点查询数据均可以查获得,只是数据得保存位置不一
redis-cluster自带哨兵功能会自动监测主节点是否宕机！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！
下面得能够忽略不写
哨兵检测主节点状态
防止redis-cluster主节点故障,能够搭配 redis-cluster + redis-sentinel ,用哨兵检测主节点状态,当主节点宕机,自动切换从节点为新的主库
1.redis-sentinel配置方式以下,检测三个主节点7000 7001 7002
port 27379
dir "/var/redis/data"
logfile "26379.log"
sentinel monitor master1 127.0.0.1 7000 2
sentinel monitor master2 127.0.0.1 7001 2
sentinel monitor master3 127.0.0.1 7002 2
sentinel down-after-milliseconds master1 30000
sentinel down-after-milliseconds master2 30000
sentinel down-after-milliseconds master3 30000
sentinel parallel-syncs master1 1
sentinel parallel-syncs master2 1
sentinel parallel-syncs master3 1
sentinel failover-timeout master1 180000
sentinel failover-timeout master2 180000
sentinel failover-timeout master3 180000
2.启动哨兵,检测cluster的主节点
redis-sentinel redis-26379.conf
3.杀死redis-cluster的主节点,查看从节点状态(是否自动重启),能够运行多个从节点,保证数据安全
工做原理：
redis客户端任意访问一个redis实例，若是数据不在该实例中，经过重定向引导客户端访问所须要的redis实例