高性能网站架构设计之缓存---redis集群搭建

1、关于redis  cluster

集群技术是构建高性能网站架构的重要手段，在网站承受高并发访问压力的同时，还须要从海量数据中查询出知足条件的数据，并快速响应，咱们必然想到的是将数据进行切片，把数据根据某种规则放入多个不一样的服务器节点，来下降单节点服务器的压力。

我部署的redis集群主要是利用切片技术来组建的集群。

集群要实现的目的是要将不一样的 key 分散放置到不一样的 redis 节点，这里咱们须要一个规则或者算法，一般的作法是获取 key 的哈希值，而后根据节点数来求模，但这种作法有其明显的弊端，当咱们须要增长或减小一个节点时，会形成大量的 key 没法命中，这种比例是至关高的，因此就有人提出了一致性哈希的概念。

Redis 引入另外一种哈希槽（hash slot）的概念。

Redis 集群中内置了 16384 个哈希槽，当须要在 Redis 集群中放置一个 key-value 时，redis 先对 key 使用 crc16 算法算出一个结果，而后把结果对 16384 求余数，这样每一个 key 都会对应一个编号在 0-16383 之间的哈希槽，redis 会根据节点数量大体均等的将哈希槽映射到不一样的节点。

使用哈希槽的好处就在于能够方便的添加或移除节点。

当须要增长节点时，只须要把其余节点的某些哈希槽挪到新节点就能够了；

当须要移除节点时，只须要把移除节点上的哈希槽挪到其余节点就好了；

1，redis cluster的现状

目前redis支持的cluster特性:

1):节点自动发现

2):slave->master 选举,集群容错

3):Hot resharding:在线分片

4):进群管理:cluster xxx

5):基于配置(nodes-port.conf)的集群管理

6):ASK 转向/MOVED 转向机制.

2，redis cluster 架构

架构细节:

(1)全部的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.

(2)节点的fail是经过集群中超过半数的节点检测失效时才生效.

(3)客户端与redis节点直连,不须要中间proxy层.客户端不须要链接集群全部节点,链接集群中任何一个可用节点便可

(4)redis-cluster把全部的物理节点映射到[0-16383]slot上,cluster 负责维护node<->slot<->value

3，redis-cluster选举:容错

(1)领着选举过程是集群中全部master参与,若是半数以上master节点与master节点通讯超过(cluster-node-timeout),认为当前master节点挂掉.

(2):何时整个集群不可用(cluster_state:fail),当集群不可用时,全部对集群的操做作都不可用，收到((error) CLUSTERDOWN The cluster is down)错误

    a:若是集群任意master挂掉,且当前master没有slave.集群进入fail状态,也能够理解成进群的slot映射[0-16383]不完成时进入fail状态.

    b:若是进群超过半数以上master挂掉，不管是否有slave集群进入fail状态.

2、redis  cluster搭建

1，安装redis-cluster依赖

（1）确保系统安装zlib,不然gem install会报(no such file to load -- zlib)

（2）安装ruby

  yum install  –y ruby ruby-rdoc ruby-rvm

  yum erase ruby ruby-libs ruby-mode ruby-rdoc ruby-irb ruby-ri ruby-docs

（3）安装rubygem

  yum install rubygems 或

1. # rubygems-1.8.16.tgz  

2. cd /path/gem  

3. sudo ruby setup.rb  

4. sudo cp bin/gem /usr/local/bin

 （4）安装gem-redis

  gem install redis --version 3.0.0

   #因为源的缘由，可能下载失败，就手动下载下来安装  

   #download地址:http://rubygems.org/gems/redis/versions/3.0.0   

  gem install -l /data/soft/redis-3.0.0.gem  

2，安装redis-cluster

1. cd /path/redis  

2. make  

3. sudo cp redis-server /usr/local/bin  

4. sudo cp redis-cli /usr/local/bin  

5. sudo cp redis-trib.rb /usr/local/bin  

3，配置redis-cluster

(1) 配置redis文件结构

使用包含(include)把通用配置和特殊配置分离,方便维护.

（2）redis通用配置

============================================================================

#GENERAL 
daemonize yes
tcp-backlog 511 
timeout 0 
tcp-keepalive 0 
loglevel notice 
databases 16 
dir /data/webserver/redis/data 
slave-serve-stale-data yes 
#slave只读 
slave-read-only yes 
#not use default 
repl-disable-tcp-nodelay yes 
slave-priority 100 
#打开aof持久化 
appendonly yes 
#每秒一次aof写 
appendfsync everysec 
#关闭在aof rewrite的时候对新的写操做进行fsync 
no-appendfsync-on-rewrite yes 
auto-aof-rewrite-min-size 64mb 
lua-time-limit 5000 
#打开redis集群 
cluster-enabled yes 
#节点互连超时的阀值 
cluster-node-timeout 15000 
cluster-migration-barrier 1 
slowlog-log-slower-than 10000 
slowlog-max-len 128 
notify-keyspace-events "" 
hash-max-ziplist-entries 512 
hash-max-ziplist-value 64 
list-max-ziplist-entries 512 
list-max-ziplist-value 64 
set-max-intset-entries 512 
zset-max-ziplist-entries 128 
zset-max-ziplist-value 64 
activerehashing yes 
client-output-buffer-limit normal 0 0 0 
client-output-buffer-limit slave 256mb 64mb 60 
client-output-buffer-limit pubsub 32mb 8mb 60 
hz 10 
aof-rewrite-incremental-fsync yes

================================================================

（3）redis特殊配置

================================================================

#包含通用配置 
include /data/webserver/redis/conf/redis-common.conf 
#日志PID
logfile /data/webserver/redis/logs/redis_6380.log
pidfile /data/webserver/redis/pids/redis_6380.pid
#监听tcp端口 
port 6380
bind 10.161.180.111
#最大可用内存 
maxmemory 2G 
#内存耗尽时采用的淘汰策略: 
# volatile-lru -> remove the key with an expire set using an LRU algorithm 
# allkeys-lru -> remove any key accordingly to the LRU algorithm 
# volatile-random -> remove a random key with an expire set 
# allkeys-random -> remove a random key, any key 
# volatile-ttl -> remove the key with the nearest expire time (minor TTL) 
# noeviction -> don't expire at all, just return an error on write operations 
maxmemory-policy allkeys-lru 
#aof存储文件 
appendfilename "appendonly-6380.aof" 
#rdb文件,只用于动态添加slave过程 
dbfilename dump-6380.rdb 
#cluster配置文件(启动自动生成) 
cluster-config-file nodes-6380.conf 
#部署在同一机器的redis实例，把<span style="font-size: 1em; line-height: 1.5;">auto-aof-rewrite搓开，防止瞬间fork全部redis进程作rewrite,占用大量内存</span> 
auto-aof-rewrite-percentage 80-100

================================================================，

由于咱们要启动多个 redis 实例，虽然能够直接经过命令行来启动，但始终是不怎么方便的，因此咱们按端口号分别创建实例目录，在实例目录里面建立redis特殊配置文件

（4）初始化并构建集群

分别启动实例，./redis-server ./6380/redis-6380.conf

使用自带的ruby工具(redis-trib.rb)构建集群   redis-trib.rb create --replicas 0 10.161.180.111:6380 10.161.180.111:6381 10.161.180.111:6382

须要注意的是执行 redis-trib.rb 命令须要 ruby 的支持，若是你没有安装能够先到 https://rubygems.org/gems/redis 下载，而后离线安装。

sudo gem install redis-3.0.7.gem --local

检查集群状态

1. #redis-trib.rb的check子命令构建  

2. #ip:port能够是集群的任意节点  

3. redis-trib.rb check 10.161.180.111 :6380

最后输出以下信息,没有任何警告或错误，表示集群启动成功并处于ok状态

1. [OK] All nodes agree about slots configuration.  

2. >>> Check for open slots...  

3. >>> Check slots coverage...  

4. [OK] All 16384 slots covered.

下面咱们用 redis 自带的客户端测试一下：

能够看到，虽然咱们第一次链接的是6380端口，当咱们去获取 testkey001 的时候，redis cluster 自动帮咱们重定向到 6382 。

当咱们在 6382设置 testkey002 时，redis cluster 又重定向到 6380 。总的来讲， redis 集群部署起来仍是很是方便的.

（5）添加新master节点

redis-trib.rb add-node 10.168.228.78:6383 10.161.180.111:6380

add-node  将一个节点添加到集群里面， 第一个是新节点ip:port, 第二个是任意一个已存在节点ip:port

检查一下新节点是否已经加入：

node:新节点没有包含任何数据， 由于它没有包含任何slot。新加入的节点是一个主节点， 当集群须要将某个从节点升级为新的主节点时， 这个新节点不会被选中。

所以须要为新节点分配slot

1. redis-trib.rb reshard 10.161.180.111:6383  

2. #根据提示选择要迁移的slot数量(ps:这里选择500)  

3. How many slots do you want to move (from 1 to 16384)? 500  

4. #选择要接受这些slot的node-id  

5. What is the receiving node ID? f51e26b5d5ff74f85341f06f28f125b7254e61bf  

6. #选择slot来源:  

7. #all表示从全部的master从新分配，  

8. #或者数据要提取slot的master节点id,最后用done结束  

9. Please enter all the source node IDs.  

10.   Type 'all' to use all the nodes as source nodes for the hash slots.  

11.   Type 'done' once you entered all the source nodes IDs.  

12. Source node #1:all  

13. #打印被移动的slot后，输入yes开始移动slot以及对应的数据.  

14. #Do you want to proceed with the proposed reshard plan (yes/no)? yes  

15. #结束  

（6）添加新的slave节点

redis-cli链接上新节点shell,输入命令:cluster replicate 对应master的node-id

或者执行redis-trib.rb命令，以下：

redis-trib.rb add-node --slave 10.168.228.78:7382 10.161.180.111:6382

（7）在线reshard 数据

对于负载/数据均匀的状况，能够在线reshard slot来解决,方法与添加新master的reshard同样，只是须要reshard的master节点是老节点.

redis-trib.rb reshard 10.161.180.111:6380

（8）删除节点

删除一个slave节点：

1. #redis-trib del-node ip:port '<node-id>'  

2. redis-trib.rb del-node 10.168.228.78:7386 'c7ee2fca17cb79fe3c9822ced1d4f6c5e169e378'  

删除一个master节点：

删除master节点以前首先要使用reshard移除master的所有slot,而后再删除当前节点(目前只能把被删除master的slot迁移到一个节点上)

1. #把10.161.180.111:6383当前master迁移到10.161.180.111:6380上  

2. redis-trib.rb reshard 10.161.180.111:6383  

3. #根据提示选择要迁移的slot数量(ps:这里选择500)  

4. How many slots do you want to move (from 1 to 16384)? 500(被删除master的全部slot数量)  

5. #选择要接受这些slot的node-id(10.161.180.111:6380)  

6. What is the receiving node ID? c4a31c852f81686f6ed8bcd6d1b13accdc947fd2 (ps:10.161.180.111:6380的node-id)  

7. Please enter all the source node IDs.  

8.   Type 'all' to use all the nodes as source nodes for the hash slots.  

9.   Type 'done' once you entered all the source nodes IDs.  

10. Source node #1:f51e26b5d5ff74f85341f06f28f125b7254e61bf(被删除master的node-id)  

11. Source node #2:done  

12. #打印被移动的slot后，输入yes开始移动slot以及对应的数据.  

13. #Do you want to proceed with the proposed reshard plan (yes/no)? yes

删除空master节点：

redis-trib.rb del-node 10.161.180.111:6383 'f51e26b5d5ff74f85341f06f28f125b7254e61bf'

目前c#客户端还不能很好的支持 redis 集群，下一篇将介绍如何使用代理来实现 redis 集群。