memcached 一致性哈希算法

本文转载自：http://blog.csdn.net/kongqz/article/details/6695417

1、概述

  一、咱们的memcache客户端使用了一致性hash算法ketama进行数据存储节点的选择。与常规的hash算法思路不一样，只是对咱们要存储数据的key进行hash计算，分配到不一样节点存储。一致性hash算法是对咱们要存储数据的服务器进行hash计算，进而确认每一个key的存储位置。

 

 二、常规hash算法的应用以及其弊端

    最常规的方式莫过于hash取模的方式。好比集群中可用机器适量为N，那么key值为K的的数据请求很简单的应该路由到hash(K) mod N对应的机器。的确，这种结构是简单的，也是实用的。可是在一些高速发展的web系统中，这样的解决方案仍有些缺陷。随着系统访问压力的增加，缓存系统不得不经过增长机器节点的方式提升集群的相应速度和数据承载量。增长机器意味着按照hash取模的方式，在增长机器节点的这一时刻，大量的缓存命不中，缓存数据须要从新创建，甚至是进行总体的缓存数据迁移，瞬间会给DB带来极高的系统负载，设置致使DB服务器宕机。

  三、设计分布式cache系统时，一致性hash算法能够帮咱们解决哪些问题？

   分布式缓存设计核心点：在设计分布式cache系统的时候，咱们须要让key的分布均衡，而且在增长cache server后，cache的迁移作到最少。

   这里提到的一致性hash算法ketama的作法是：选择具体的机器节点不在只依赖须要缓存数据的key的hash自己了，而是机器节点自己也进行了hash运算。

 

2、一致性哈希算法情景描述（转载）

 

一、 hash机器节点

 

首先求出机器节点的hash值（怎么算机器节点的hash？ip能够做为hash的参数吧。。固然还有其余的方法了），而后将其分布到0～2^32的一个圆环上（顺时针分布）。以下图所示：

 

集群中有机器：A , B, C, D, E五台机器，经过必定的hash算法咱们将其分布到如上图所示的环上。

 

二、访问方式

若是有一个写入缓存的请求，其中Key值为K，计算器hash值Hash(K)， Hash(K) 对应于图 – 1环中的某一个点，若是该点对应没有映射到具体的某一个机器节点，那么顺时针查找，直到第一次找到有映射机器的节点，该节点就是肯定的目标节点，若是超过了2^32仍然找不到节点，则命中第一个机器节点。好比 Hash(K) 的值介于A~B之间，那么命中的机器节点应该是B节点（如上图 ）。

 

三、增长节点的处理

如上图 – 1，在原有集群的基础上欲增长一台机器F，增长过程以下：

计算机器节点的Hash值，将机器映射到环中的一个节点，以下图：

 

 

增长机器节点F以后，访问策略不改变，依然按照（2）中的方式访问，此时缓存命不中的状况依然不可避免，不能命中的数据是hash(K)在增长节点之前落在C～F之间的数据。尽管依然存在节点增长带来的命中问题，可是比较传统的 hash取模的方式，一致性hash已经将不命中的数据降到了最低。

 

Consistent Hashing最大限度地抑制了hash键的从新分布。另外要取得比较好的负载均衡的效果，每每在服务器数量比较少的时候须要增长虚拟节点来保证服务器能均匀的分布在圆环上。由于使用通常的hash方法，服务器的映射地点的分布很是不均匀。使用虚拟节点的思想，为每一个物理节点（服务器）在圆上分配100～200个点。这样就能抑制分布不均匀，最大限度地减少服务器增减时的缓存从新分布。用户数据映射在虚拟节点上，就表示用户数据真正存储位置是在该虚拟节点表明的实际物理服务器上。
下面有一个图描述了须要为每台物理服务器增长的虚拟节点。

3、以spymemcache源码来演示虚拟节点应用

一、上边描述的一致性Hash算法有个潜在的问题是:
     （1）、将节点hash后会不均匀地分布在环上，这样大量key在寻找节点时，会存在key命中各个节点的几率差异较大，没法实现有效的负载均衡。
     （2）、若有三个节点Node1,Node2,Node3，分布在环上时三个节点挨的很近，落在环上的key寻找节点时，大量key顺时针老是分配给Node2，而其它两个节点被找到的几率都会很小。

二、这种问题的解决方案能够有:
     改善Hash算法，均匀分配各节点到环上；［引文］使用虚拟节点的思想，为每一个物理节点（服务器）在圆上分配100～200个点。这样就能抑制分布不均匀，最大限度地减少服务器增减时的缓存从新分布。用户数据映射在虚拟节点上，就表示用户数据真正存储位置是在该虚拟节点表明的实际物理服务器上。

在查看Spy Memcached client时，发现它采用一种称为Ketama的Hash算法，以虚拟节点的思想，解决Memcached的分布式问题。 

三、源码说明

该client采用TreeMap存储全部节点，模拟一个环形的逻辑关系。在这个环中，节点以前是存在顺序关系的，因此TreeMap的key必须实现Comparator接口。
那节点是怎样放入这个环中的呢？

 

 1     protected void setKetamaNodes(List<MemcachedNode> nodes) {
 2     TreeMap<Long, MemcachedNode> newNodeMap = new TreeMap<Long, MemcachedNode>();
 3     int numReps= config.getNodeRepetitions();
 4     for(MemcachedNode node : nodes) {
 5         // Ketama does some special work with md5 where it reuses chunks.
 6         if(hashAlg == HashAlgorithm.KETAMA_HASH) {
 7             for(int i=0; i<numReps / 4; i++) {
 8                 byte[] digest=HashAlgorithm.computeMd5(config.getKeyForNode(node, i));
 9                 for(int h=0;h<4;h++) {
10                     Long k = ((long)(digest[3+h*4]&0xFF) << 24)
11                         | ((long)(digest[2+h*4]&0xFF) << 16)
12                         | ((long)(digest[1+h*4]&0xFF) << 8)
13                         | (digest[h*4]&0xFF);
14                     newNodeMap.put(k, node);
15                     getLogger().debug("Adding node %s in position %d", node, k);
16                 }
17 
18             }
19         } else {
20             for(int i=0; i<numReps; i++) {
21                 newNodeMap.put(hashAlg.hash(config.getKeyForNode(node, i)), node);
22             }
23         }
24     }
25     assert newNodeMap.size() == numReps * nodes.size();
26     ketamaNodes = newNodeMap;

上面的流程大概能够这样概括:四个虚拟结点为一组，以getKeyForNode方法获得这组虚拟节点的name，Md5编码后，每一个虚拟结点对应Md5码16个字节中的4个，组成一个long型数值，作为这个虚拟结点在环中的唯一key。第10行k为何是Long型的呢？就是由于Long型实现了Comparator接口。

处理完正式结点在环上的分布后，能够开始key在环上寻找节点的游戏了。
对于每一个key仍是得完成上面的步骤:计算出Md5，根据Md5的字节数组，经过Kemata Hash算法获得key在这个环中的位置。

 

5、总结

一、一致性hash算法只是帮咱们减小cache集群中的机器数量增减的时候，cache的数据能进行最少重建。只要cache集群的server数量有变化，必然产生数据命中的问题

二、对于数据的分布均衡问题，经过虚拟节点的思想来达到均衡分配。固然，咱们cache server节点越少就越须要虚拟节点这个方式来均衡负载。

三、咱们的cache客户端根本不会维护一个map来记录每一个key存储在哪里，都是经过key的hash和cacheserver（也许ip能够做为参数）的hash计算当前的key应该存储在哪一个节点上。