[转载] Redis集群搭建最佳实践

转载自http://blog.csdn.net/sweetvvck/article/details/38315149?utm_source=tuicool

要搭建Redis集群，首先得考虑下面的几个问题;

 

Redis集群搭建的目的是什么？或者说为何要搭建Redis集群？

 

Redis集群搭建的目的其实也就是集群搭建的目的，全部的集群主要都是为了解决一个问题，横向扩展。

在集群的概念出现以前，咱们使用的硬件资源都是纵向扩展的，可是纵向扩展很快就会达到一个极限，单台机器的Cpu的处理速度，内存大小，硬盘大小没办法一直知足需求，并且机器纵向扩展的成本是至关高的。集群的出现就是可以让多台机器像一台机器同样工做，实现了资源的横向扩展。

 

Redis是内存型数据库，当咱们要存储的数据达到必定程度时，单台机器的内存知足不了咱们的需求，搭建集群则是一种很好的解决方案。

 

那么如何可以让多台机器上的Redis可以像一台机器上的Redis同样工做呢？

 

须要解决如下三个问题;

1.对外暴露一个访问节点

2.请求分片（sharding）

3.分片要合理（分片均匀，相同的请求要分配到一样的redis节点）

 

首先，要对外暴露一个访问节点，后面可能有多台redis再工做;咱们很容易想到的就是代理（Proxy），对于客户端只须要知道代理，经过代理来和后台的多台redis交互。

 

第二个问题可使用hash算法解决，将请求的某个key取hash值，对redis个数取余，来分配的不一样的redis上；然而这么作不能知足第三点中的相同的请求要分配到一样的redis中。在这种状况下一致性哈希可以完美的解决这个问题，一致性哈希能够将redis的节点经过hash算法分布再一个2 ³² 个节点的圆环上，将请求的key用一样的hash算法映射到这个圆环上，而后在key值的节点顺时针寻找最近的redis节点，这样就保证了一致性；详细介绍能够参考： http://blog.csdn.net/sparkliang/article/details/5279393 。

 

若是让我来实现redis集群的话，我会采用zookeeper加上一个redis守护程序加上一致性hash算法来实现。不过twicer的大神们已经实现并开源了一个redis集群方案，我就不重复制造轮子了；来看看这个全球最大的redis集群使用者之一的大神们实现的 twemproxy (nutcracker)有哪些特性。

 

Twemproxy除了能够做为redis的代理，它一样支持memerycached的ASCII协议。我这里主要了解Twemproxy在redis集群上的解决方案。Twemproxy除了完美的解决了上面的三个问题（一样采用了一致性hash算法），还有一个重要的特色；它支持

node ejection，若是使用redis当缓存，不是很注重数据的一致性的话，开启node ejection能够在集群中某一台redis挂掉的时候将其送集群列表中移除，达到高可用性。若是redis集群作为数据存储的话，或者很注重数据的一致性，则能够禁用node jection，但此时须要使用其余方法实现高可用性，好比redis sentiel。Twemproxy的详细介绍能够看看这篇文章： http://antirez.com/news/44 ；Twemproxy项目Github地址：https://github.com/twitter/twemproxy 。

 

废话说了这么多，来看看怎么安装twemproxy，搭建redis集群吧

 

首先按照github提示的步骤安装twemproxy：

To build nutcracker from source with debug logs enabled and assertions disabled:

若是显示帮助信息，则表示安装成功；

接下来编辑配置信息，找一个本身喜欢的目录，建立配置文件，后缀为yml，如twemproxy.test.yml;填入以下信息：
$ git clone git@github.com:twitter/twemproxy.git
$ cd twemproxy
$ autoreconf -fvi
$ ./configure --enable-debug=log
$ make

依次输入上面的命令，而后输入：
$ src/nutcracker -h

alpha:
  listen: 127.0.0.1:55555
  hash: fnv1a_64
  distribution: ketama
  auto_eject_hosts: true
  redis: true
  server_retry_timeout: 30000
  server_failure_limit: 1
  servers:
    - 192.168.1.10:6379:1
    - 192.168.1.7:6379:1

注意缩进，不然将没法启动twenproxy。
其中listen：表示代理的ip以及端口号，是暴露给客户端使用的；hash: 表示使用哪一种hash方法，twemproxy提供了多种方式，具体能够看github介绍；distribution表示分配模式，有三种选择：ketama， modula，random；auto_reject_hosts: 就是上面所说的，自动移除失败的节点；redis: 表示使用的是redis集群，剩下的配置很简单就不一一介绍了......
经过如此简单的配置以后，执行./src/nutcracker -c ./conf/nutcracker.test.yml（这里使用本身的安装路径和配置文件路径） 就启动了twemproxy， 客户端只须要经过redis-cli就能链接上proxy，使用方法和redis彻底同样（但不是全部命令都支持）。

这样redis的集群就搭好了，是否是简单到爆？不过不要开心得太早，twemproxy也有它的不足之处。

1.不支持事务以及批量操做;
2.相较于直接访问redis性能有所损耗;

虽然twemproxy有上述缺点，单相较于起带来的好处简直不值一提！但也说明它不适用于全部状况。

Redis集群还有不少种搭建方式，其官方的cluster一直处于beta状态，相信了解了twemproxy后，你们会发现它是如今最好的选择！