高性能网站架构设计之缓存篇（5）- Redis 集群（上）

集群技术是构建高性能网站架构的重要手段，试想在网站承受高并发访问压力的同时，还须要从海量数据中查询出知足条件的数据，并快速响应，咱们必然想到的是将数据进行切片，把数据根据某种规则放入多个不一样的服务器节点，来下降单节点服务器的压力。

上一篇咱们讲到了 Redis 的主从复制技术，当实现了多节点的 master-slave 后，咱们也能够把它叫作集群，但咱们今天要讲的集群主要是利用切片技术来组建的集群。

集群要实现的目的是要将不一样的 key 分散放置到不一样的 redis 节点，这里咱们须要一个规则或者算法，一般的作法是获取 key 的哈希值，而后根据节点数来求模，但这种作法有其明显的弊端，当咱们须要增长或减小一个节点时，会形成大量的 key 没法命中，这种比例是至关高的，因此就有人提出了一致性哈希的概念。

一致性哈希有四个重要特征：

均衡性：也有人把它定义为平衡性，是指哈希的结果可以尽量分布到全部的节点中去，这样能够有效的利用每一个节点上的资源。

单调性：对于单调性有不少翻译让我很是的不解，而我想要的是当节点数量变化时哈希的结果应尽量的保护已分配的内容不会被从新分派到新的节点。

分散性和负载：这两个实际上是差很少的意思，就是要求一致性哈希算法对 key 哈希应尽量的避免重复。

但一致性哈希不是咱们今天要介绍的重点，由于 Redis 引入另外一种哈希槽（hash slot）的概念。

Redis 集群中内置了 16384 个哈希槽，当须要在 Redis 集群中放置一个 key-value 时，redis 先对 key 使用 crc16 算法算出一个结果，而后把结果对 16384 求余数，这样每一个 key 都会对应一个编号在 0-16383 之间的哈希槽，redis 会根据节点数量大体均等的将哈希槽映射到不一样的节点。

使用哈希槽的好处就在于能够方便的添加或移除节点。

当须要增长节点时，只须要把其余节点的某些哈希槽挪到新节点就能够了；

当须要移除节点时，只须要把移除节点上的哈希槽挪到其余节点就好了；

内部机制，与我何干，对于咱们来讲，在新增或移除节点的时候不要让咱们先停掉全部的 redis 服务我就谢天谢地了，这点它作到了。

下面咱们就开始动手搭建一个 redis 集群来体验一下。

由于咱们要启动多个 redis 实例，虽然咱们能够直接经过命令行来启动，但始终是不怎么方便的，因此咱们先来新建三个实例目录，分别是9001，9002，9003，目录名就是 redis 实例的端口号。

我这里已经建好了目录，而后咱们把之前编译过和修改过的 redis-server、redis.conf这两个文件分别拷贝到这三个目录里面，拷贝完以后就像这样子了：

咱们打开 redis.conf 文件，为了简单起见，咱们只保留下面几个配置项：

daemonize yes
port 9001
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

注意：port 要修改为对应目录的名字，也就是每一个实例要有不一样的端口。

下面咱们分别启动这三个实例：

zhaoguihuadediannao:~ zhaogh$ cd applications/dev/redis-cluster

zhaoguihuadediannao:redis-cluster zhaogh$ cd 9001

zhaoguihuadediannao:9001 zhaogh$ ./redis-server ./redis.conf

zhaoguihuadediannao:9003 zhaogh$ cd ../9002

zhaoguihuadediannao:9002 zhaogh$ ./redis-server ./redis.conf

zhaoguihuadediannao:9002 zhaogh$ cd ../9003

zhaoguihuadediannao:9003 zhaogh$ ./redis-server ./redis.conf

zhaoguihuadediannao:9003 zhaogh$ 

接下来咱们来建立集群，让三个实例互相通信：

zhaoguihuadediannao:src zhaogh$ ./redis-trib.rb create --replicas 0 127.0.0.1:9001 127.0.0.1:9002 127.0.0.1:9003

>>> Creating cluster

Connecting to node 127.0.0.1:9001: OK

Connecting to node 127.0.0.1:9002: OK

Connecting to node 127.0.0.1:9003: OK

>>> Performing hash slots allocation on 3 nodes...

Using 3 masters:

127.0.0.1:9001

127.0.0.1:9002

127.0.0.1:9003

M: 92c9912cb1ccf657c886ecd839dd32c66efd8762 127.0.0.1:9001

   slots:0-5460 (5461 slots) master

M: b6d46fcb8b0e6ee373b09a4f2cbcec744d1a259b 127.0.0.1:9002

   slots:5461-10922 (5462 slots) master

M: 44ab30c7c589ffb15b9b04dd827c72cfaeedacb2 127.0.0.1:9003

   slots:10923-16383 (5461 slots) master

Can I set the above configuration? (type 'yes' to accept): yes

>>> Nodes configuration updated

>>> Assign a different config epoch to each node

>>> Sending CLUSTER MEET messages to join the cluster

Waiting for the cluster to join..

>>> Performing Cluster Check (using node 127.0.0.1:9001)

M: 92c9912cb1ccf657c886ecd839dd32c66efd8762 127.0.0.1:9001

   slots:0-5460 (5461 slots) master

M: b6d46fcb8b0e6ee373b09a4f2cbcec744d1a259b 127.0.0.1:9002

   slots:5461-10922 (5462 slots) master

M: 44ab30c7c589ffb15b9b04dd827c72cfaeedacb2 127.0.0.1:9003

   slots:10923-16383 (5461 slots) master

[OK] All nodes agree about slots configuration.

>>> Check for open slots...

>>> Check slots coverage...

[OK] All 16384 slots covered.

zhaoguihuadediannao:src zhaogh$ 

须要注意的是执行 redis-trib.rb 命令须要 ruby 的支持，若是你没有安装能够先到 https://rubygems.org/gems/redis 下载，而后离线安装。

sudo gem install redis-3.0.7.gem --local

下面咱们用 redis 自带的客户端测试一下：

zhaoguihuadediannao:src zhaogh$ ./redis-cli -c -p 9001

127.0.0.1:9001> get testkey001

-> Redirected to slot [12786] located at 127.0.0.1:9003

(nil)

127.0.0.1:9003> set testkey002 testvalue002

-> Redirected to slot [401] located at 127.0.0.1:9001

OK

127.0.0.1:9001> get testkey002

"testvalue002"

127.0.0.1:9001> set testkey003 testvalue003

OK

127.0.0.1:9001> 

能够看到，虽然咱们第一次链接的是9001端口，当咱们去获取 testkey001 的时候，redis cluster 自动帮咱们重定向到 9003 。

当咱们在 9003 设置 testkey002 时，redis cluster 又重定向到 9001 。

总的来讲， redis 集群部署起来仍是很是方便的，遗憾的是，目前几乎尚未 c# 的客户端能很好的支持 redis 集群，真是很是的悲哀，咱们期待他们的更新。

下一遍中，咱们继续讨论 redis 集群，好比，如何增长节点，移除节点，从新切片等，敬请期待。