Java之一致性hash算法原理及实现

时间 2019-11-06

标签 java 一致性 hash 算法原理实现栏目 Java 繁體版

原文原文链接

一致性哈希算法是分布式系统中经常使用的算法。html

好比，一个分布式的存储系统，要将数据存储到具体的节点上，若是采用普通的hash方法，将数据映射到具体的节点上，如key%N，key是数据的key，N是机器节点数，若是有一个机器加入或退出这个集群，则全部的数据映射都无效了。

一致性哈希算法，解决了普通余数Hash算法伸缩性差的问题，能够保证在上线、下线服务器的状况下，尽可能有多的请求命中原来路由到的服务器。java

1、一致性哈希算法

一、原理

算法的具体原理这里再次贴上：node

先构造一个长度为232的整数环（这个环被称为一致性Hash环），根据节点名称的Hash值（其分布为[0, 232-1]）将服务器节点放置在这个Hash环上，而后根据数据的Key值计算获得其Hash值（其分布也为[0, 232-1]），接着在Hash环上顺时针查找距离这个Key值的Hash值最近的服务器节点，完成Key到服务器的映射查找。算法

(1)环形Hash空间

按照经常使用的hash算法来将对应的key哈希到一个具备2^32次方个桶的空间中，即0~(2^32)-1的数字空间中。apache

如今咱们能够将这些数字头尾相连，想象成一个闭合的环形。以下图服务器

(2)把数据经过必定的hash算法处理后映射到环上

如今咱们将object一、object二、object三、object4四个对象经过特定的Hash函数计算出对应的key值，而后散列到Hash环上。以下图：
Hash(object1) = key1；
Hash(object2) = key2；
Hash(object3) = key3；
Hash(object4) = key4；负载均衡

(3)将机器经过hash算法映射到环上

在采用一致性哈希算法的分布式集群中将新的机器加入，其原理是经过使用与对象存储同样的Hash算法将机器也映射到环中分布式

（通常状况下对机器的hash计算是采用机器的IP或者机器惟一的别名做为输入值），而后以顺时针的方向计算，将全部对象存储到离本身最近的机器中。

假设如今有NODE1，NODE2，NODE3三台机器，经过Hash算法获得对应的KEY值，映射到环中，其示意图以下：
Hash(NODE1) = KEY1;
Hash(NODE2) = KEY2;
Hash(NODE3) = KEY3;函数

经过上图能够看出对象与机器处于同一哈希空间中，这样按顺时针转动object1存储到了NODE1中，object3存储到了NODE2中，object二、object4存储到了NODE3中。spa

在这样的部署环境中，hash环是不会变动的，所以，经过算出对象的hash值就能快速的定位到对应的机器中，这样就能找到对象真正的存储位置了。

二、机器的删除与添加
普通hash求余算法最为不妥的地方就是在有机器的添加或者删除以后会形成大量的对象存储位置失效。下面来分析一下一致性哈希算法是如何处理的。

(1)节点（机器）的删除
以上面的分布为例，若是NODE2出现故障被删除了，那么按照顺时针迁移的方法，object3将会被迁移到NODE3中，这样仅仅是object3的映射位置发生了变化，其它的对象没有任何的改动。以下图：

(2)节点（机器）的添加
若是往集群中添加一个新的节点NODE4，经过对应的哈希算法获得KEY4，并映射到环中，以下图：

经过按顺时针迁移的规则，那么object2被迁移到了NODE4中，其它对象还保持着原有的存储位置。
经过对节点的添加和删除的分析，一致性哈希算法在保持了单调性的同时，仍是数据的迁移达到了最小，这样的算法对分布式集群来讲是很是合适的，避免了大量数据迁移，减少了服务器的的压力。

三、平衡性--虚拟节点

根据上面的图解分析，一致性哈希算法知足了单调性和负载均衡的特性以及通常hash算法的分散性，但这还并不能当作其被普遍应用的起因，

由于还缺乏了平衡性。下面将分析一致性哈希算法是如何知足平衡性的。

hash算法是不保证平衡的，如上面只部署了NODE1和NODE3的状况（NODE2被删除的图），object1存储到了NODE1中，而object二、object三、object4都存储到了NODE3中，这样就形成了很是不平衡的状态。在一致性哈希算法中，为了尽量的知足平衡性，其引入了虚拟节点。

——“虚拟节点”（ virtual node ）是实际节点（机器）在 hash 空间的复制品（ replica ），一个实际节点（机器）对应了若干个“虚拟节点”，这个对应个数也成为“复制个数”，“虚拟节点”在 hash 空间中以hash值排列。

以上面只部署了NODE1和NODE3的状况（NODE2被删除的图）为例，以前的对象在机器上的分布很不均衡，如今咱们以2个副本（复制个数）为例，这样整个hash环中就存在了4个虚拟节点，最后对象映射的关系图以下：

根据上图可知对象的映射关系：object1->NODE1-1，object2->NODE1-2，object3->NODE3-2，object4->NODE3-1。经过虚拟节点的引入，对象的分布就比较均衡了。那么在实际操做中，正真的对象查询是如何工做的呢？对象从hash到虚拟节点到实际节点的转换以下图：

“虚拟节点”的hash计算能够采用对应节点的IP地址加数字后缀的方式。例如假设NODE1的IP地址为192.168.1.100。引入“虚拟节点”前，计算 cache A 的 hash 值：
Hash(“192.168.1.100”);
引入“虚拟节点”后，计算“虚拟节”点NODE1-1和NODE1-2的hash值：
Hash(“192.168.1.100#1”); // NODE1-1
Hash(“192.168.1.100#2”); // NODE1-2

2、一致性hash算法的Java实现

一、不带虚拟节点的

package hash;

import java.util.SortedMap;
import java.util.TreeMap;

/**
 * 不带虚拟节点的一致性Hash算法
 */
public class ConsistentHashingWithoutVirtualNode {

	//待添加入Hash环的服务器列表
	private static String[] servers = { "192.168.0.0:111", "192.168.0.1:111",
			"192.168.0.2:111", "192.168.0.3:111", "192.168.0.4:111" };

	//key表示服务器的hash值，value表示服务器
	private static SortedMap<Integer, String> sortedMap = new TreeMap<Integer, String>();

	//程序初始化，将全部的服务器放入sortedMap中
	static {
		for (int i=0; i<servers.length; i++) {
			int hash = getHash(servers[i]);
			System.out.println("[" + servers[i] + "]加入集合中, 其Hash值为" + hash);
			sortedMap.put(hash, servers[i]);
		}
		System.out.println();
	}

	//获得应当路由到的结点
	private static String getServer(String key) {
		//获得该key的hash值
		int hash = getHash(key);
		//获得大于该Hash值的全部Map
		SortedMap<Integer, String> subMap = sortedMap.tailMap(hash);
		if(subMap.isEmpty()){
			//若是没有比该key的hash值大的，则从第一个node开始
			Integer i = sortedMap.firstKey();
			//返回对应的服务器
			return sortedMap.get(i);
		}else{
			//第一个Key就是顺时针过去离node最近的那个结点
			Integer i = subMap.firstKey();
			//返回对应的服务器
			return subMap.get(i);
		}
	}
	
	//使用FNV1_32_HASH算法计算服务器的Hash值,这里不使用重写hashCode的方法，最终效果没区别
	private static int getHash(String str) {
		final int p = 16777619;
		int hash = (int) 2166136261L;
		for (int i = 0; i < str.length(); i++)
			hash = (hash ^ str.charAt(i)) * p;
		hash += hash << 13;
		hash ^= hash >> 7;
		hash += hash << 3;
		hash ^= hash >> 17;
		hash += hash << 5;

		// 若是算出来的值为负数则取其绝对值
		if (hash < 0)
			hash = Math.abs(hash);
		return hash;
		}

	public static void main(String[] args) {
		String[] keys = {"太阳", "月亮", "星星"};
		for(int i=0; i<keys.length; i++)
			System.out.println("[" + keys[i] + "]的hash值为" + getHash(keys[i])
					+ ", 被路由到结点[" + getServer(keys[i]) + "]");
	}
}

执行结果：
[192.168.0.0:111]加入集合中, 其Hash值为575774686
[192.168.0.1:111]加入集合中, 其Hash值为8518713
[192.168.0.2:111]加入集合中, 其Hash值为1361847097
[192.168.0.3:111]加入集合中, 其Hash值为1171828661
[192.168.0.4:111]加入集合中, 其Hash值为1764547046

[太阳]的hash值为1977106057, 被路由到结点[192.168.0.1:111]
[月亮]的hash值为1132637661, 被路由到结点[192.168.0.3:111]
[星星]的hash值为880019273, 被路由到结点[192.168.0.3:111]

二、带虚拟节点的

package hash;  
      
    import java.util.LinkedList;  
    import java.util.List;  
    import java.util.SortedMap;  
    import java.util.TreeMap;  
      
    import org.apache.commons.lang.StringUtils;  
      
    /** 
      * 带虚拟节点的一致性Hash算法 
      */  
     public class ConsistentHashingWithoutVirtualNode {  
      
         //待添加入Hash环的服务器列表  
         private static String[] servers = {"192.168.0.0:111", "192.168.0.1:111", "192.168.0.2:111",  
                 "192.168.0.3:111", "192.168.0.4:111"};  
           
         //真实结点列表,考虑到服务器上线、下线的场景，即添加、删除的场景会比较频繁，这里使用LinkedList会更好  
         private static List<String> realNodes = new LinkedList<String>();  
           
         //虚拟节点，key表示虚拟节点的hash值，value表示虚拟节点的名称  
         private static SortedMap<Integer, String> virtualNodes = new TreeMap<Integer, String>();  
                   
         //虚拟节点的数目，这里写死，为了演示须要，一个真实结点对应5个虚拟节点  
         private static final int VIRTUAL_NODES = 5;  
           
         static{  
             //先把原始的服务器添加到真实结点列表中  
             for(int i=0; i<servers.length; i++)  
                 realNodes.add(servers[i]);  
               
             //再添加虚拟节点，遍历LinkedList使用foreach循环效率会比较高  
             for (String str : realNodes){  
                 for(int i=0; i<VIRTUAL_NODES; i++){  
                     String virtualNodeName = str + "&&VN" + String.valueOf(i);  
                     int hash = getHash(virtualNodeName);  
                     System.out.println("虚拟节点[" + virtualNodeName + "]被添加, hash值为" + hash);  
                     virtualNodes.put(hash, virtualNodeName);  
                 }  
             }  
             System.out.println();  
         }  
           
         //使用FNV1_32_HASH算法计算服务器的Hash值,这里不使用重写hashCode的方法，最终效果没区别  
         private static int getHash(String str){  
             final int p = 16777619;  
             int hash = (int)2166136261L;  
             for (int i = 0; i < str.length(); i++)  
                 hash = (hash ^ str.charAt(i)) * p;  
             hash += hash << 13;  
             hash ^= hash >> 7;  
             hash += hash << 3;  
             hash ^= hash >> 17;  
             hash += hash << 5;  
               
             // 若是算出来的值为负数则取其绝对值  
             if (hash < 0)  
                 hash = Math.abs(hash);  
             return hash;  
         }  
           
         //获得应当路由到的结点  
         private static String getServer(String key){  
            //获得该key的hash值  
             int hash = getHash(key);  
             // 获得大于该Hash值的全部Map  
             SortedMap<Integer, String> subMap = virtualNodes.tailMap(hash);  
             String virtualNode;  
             if(subMap.isEmpty()){  
                //若是没有比该key的hash值大的，则从第一个node开始  
                Integer i = virtualNodes.firstKey();  
                //返回对应的服务器  
                virtualNode = virtualNodes.get(i);  
             }else{  
                //第一个Key就是顺时针过去离node最近的那个结点  
                Integer i = subMap.firstKey();  
                //返回对应的服务器  
                virtualNode = subMap.get(i);  
             }  
             //virtualNode虚拟节点名称要截取一下  
             if(StringUtils.isNotBlank(virtualNode)){  
                 return virtualNode.substring(0, virtualNode.indexOf("&&"));  
             }  
             return null;  
         }  
           
         public static void main(String[] args){  
             String[] keys = {"太阳", "月亮", "星星"};  
             for(int i=0; i<keys.length; i++)  
                 System.out.println("[" + keys[i] + "]的hash值为" +  
                         getHash(keys[i]) + ", 被路由到结点[" + getServer(keys[i]) + "]");  
         }  
     }

执行结果：
虚拟节点[192.168.0.0:111&&VN0]被添加, hash值为1686427075
虚拟节点[192.168.0.0:111&&VN1]被添加, hash值为354859081
虚拟节点[192.168.0.0:111&&VN2]被添加, hash值为1306497370
虚拟节点[192.168.0.0:111&&VN3]被添加, hash值为817889914
虚拟节点[192.168.0.0:111&&VN4]被添加, hash值为396663629
虚拟节点[192.168.0.1:111&&VN0]被添加, hash值为1032739288
虚拟节点[192.168.0.1:111&&VN1]被添加, hash值为707592309
虚拟节点[192.168.0.1:111&&VN2]被添加, hash值为302114528
虚拟节点[192.168.0.1:111&&VN3]被添加, hash值为36526861
虚拟节点[192.168.0.1:111&&VN4]被添加, hash值为848442551
虚拟节点[192.168.0.2:111&&VN0]被添加, hash值为1452694222
虚拟节点[192.168.0.2:111&&VN1]被添加, hash值为2023612840
虚拟节点[192.168.0.2:111&&VN2]被添加, hash值为697907480
虚拟节点[192.168.0.2:111&&VN3]被添加, hash值为790847074
虚拟节点[192.168.0.2:111&&VN4]被添加, hash值为2010506136
虚拟节点[192.168.0.3:111&&VN0]被添加, hash值为891084251
虚拟节点[192.168.0.3:111&&VN1]被添加, hash值为1725031739
虚拟节点[192.168.0.3:111&&VN2]被添加, hash值为1127720370
虚拟节点[192.168.0.3:111&&VN3]被添加, hash值为676720500
虚拟节点[192.168.0.3:111&&VN4]被添加, hash值为2050578780
虚拟节点[192.168.0.4:111&&VN0]被添加, hash值为586921010
虚拟节点[192.168.0.4:111&&VN1]被添加, hash值为184078390
虚拟节点[192.168.0.4:111&&VN2]被添加, hash值为1331645117
虚拟节点[192.168.0.4:111&&VN3]被添加, hash值为918790803
虚拟节点[192.168.0.4:111&&VN4]被添加, hash值为1232193678

[太阳]的hash值为1977106057, 被路由到结点[192.168.0.2:111]
[月亮]的hash值为1132637661, 被路由到结点[192.168.0.4:111]
[星星]的hash值为880019273, 被路由到结点[192.168.0.3:111]

原文：

http://blog.csdn.net/cywosp/article/details/23397179/ 一致性哈希算法

http://www.open-open.com/lib/view/open1455374048042.html 一致性哈希算法的Java实现