理解一致性Hash算法
简介
一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分相似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得DHT能够在P2P环境中真正获得应用。html
如今一致性hash算法在分布式系统中也获得了普遍应用，研究过memcached缓存数据库的人都知道，memcached服务器端自己不提供分布式cache的一致性，而是由客户端来提供，具体在计算一致性hash时采用以下步骤：java
首先求出memcached服务器（节点）的哈希值，并将其配置到0～2^32的圆（continuum）上。node
采用一样的方法求出存储数据的键的哈希值，并映射到相同的圆上。算法
从数据映射到的位置开始顺时针查找，将数据保存到找到的第一个服务器上。若是超过2^32仍然找不到服务器，就会保存到第一台memcached服务器上。数据库
从上图的状态中添加一台memcached服务器。余数分布式算法因为保存键的服务器会发生巨大变化而影响缓存的命中率，但Consistent Hashing中，只有在圆（continuum）上增长服务器的地点逆时针方向的第一台服务器上的键会受到影响，以下图所示：缓存
一致性Hash性质
考虑到分布式系统每一个节点都有可能失效，而且新的节点极可能动态的增长进来，如何保证当系统的节点数目发生变化时仍然可以对外提供良好的服务，这是值得考虑的。bash
尤为是在设计分布式缓存系统时，若是某台服务器失效，对于整个系统来讲若是不采用合适的算法来保证一致性，那么缓存于系统中的全部数据均可能会失效（即因为系统节点数目变少，客户端在请求某一对象时须要从新计算其hash值（一般与系统中的节点数目有关），因为hash值已经改变，因此极可能找不到保存该对象的服务器节点），所以一致性hash就显得相当重要。服务器
良好的分布式cahce系统中的一致性hash算法应该知足如下几个方面：dom
- 平衡性(Balance)
平衡性是指哈希的结果可以尽量分布到全部的缓冲中去，这样可使得全部的缓冲空间都获得利用。不少哈希算法都可以知足这一条件。分布式
- 单调性(Monotonicity)
单调性是指若是已经有一些内容经过哈希分派到了相应的缓冲中，又有新的缓冲区加入到系统中，那么哈希的结果应可以保证原有已分配的内容能够被映射到新的缓冲区中去，而不会被映射到旧的缓冲集合中的其余缓冲区。
简单的哈希算法每每不能知足单调性的要求，如最简单的线性哈希
x = (ax + b) mod (P)，在上式中，P表示所有缓冲的大小。不难看出，当缓冲大小发生变化时(从P1到P2)，原来全部的哈希结果均会发生变化，从而不知足单调性的要求。哈希结果的变化意味着当缓冲空间发生变化时，全部的映射关系须要在系统内所有更新。而在P2P系统内，缓冲的变化等价于Peer加入或退出系统，这一状况在P2P系统中会频繁发生，所以会带来极大计算和传输负荷。单调性就是要求哈希算法可以应对这种状况。
- 分散性(Spread)
在分布式环境中，终端有可能看不到全部的缓冲，而是只能看到其中的一部分。
当终端但愿经过哈希过程将内容映射到缓冲上时，因为不一样终端所见的缓冲范围有可能不一样，从而致使哈希的结果不一致，最终的结果是相同的内容被不一样的终端映射到不一样的缓冲区中。这种状况显然是应该避免的，由于它致使相同内容被存储到不一样缓冲中去，下降了系统存储的效率。
分散性的定义就是上述状况发生的严重程度。好的哈希算法应可以尽可能避免不一致的状况发生，也就是尽可能下降分散性。
- 负载(Load)
负载问题其实是从另外一个角度看待分散性问题。
既然不一样的终端可能将相同的内容映射到不一样的缓冲区中，那么对于一个特定的缓冲区而言，也可能被不一样的用户映射为不一样的内容。
与分散性同样，这种状况也是应当避免的，所以好的哈希算法应可以尽可能下降缓冲的负荷。
- 平滑性(Smoothness)
平滑性是指缓存服务器的数目平滑改变和缓存对象的平滑改变是一致的。
原理
基本概念
一致性哈希算法（Consistent Hashing）最先在论文《Consistent Hashing and Random Trees: Distributed Caching Protocols for Relieving Hot Spots on the World Wide Web》中被提出。
简单来讲，一致性哈希将整个哈希值空间组织成一个虚拟的圆环，如假设某哈希函数H的值空间为0-2^32-1（即哈希值是一个32位无符号整形），整个哈希空间环以下：
整个空间按顺时针方向组织。0和2^32-1在零点中方向重合。
下一步将各个服务器使用Hash进行一个哈希，具体能够选择服务器的ip或主机名做为关键字进行哈希，这样每台机器就能肯定其在哈希环上的位置，这里假设将上文中四台服务器使用ip地址哈希后在环空间的位置以下：
接下来使用以下算法定位数据访问到相应服务器：将数据key使用相同的函数Hash计算出哈希值，并肯定此数据在环上的位置，今后位置沿环顺时针“行走”，第一台遇到的服务器就是其应该定位到的服务器。
例如咱们有Object A、Object B、Object C、Object D四个数据对象，通过哈希计算后，在环空间上的位置以下：
根据一致性哈希算法，数据A会被定为到Node A上，B被定为到Node B上，C被定为到Node C上，D被定为到Node D上。
容错性
现假设Node C不幸宕机，能够看到此时对象A、B、D不会受到影响，只有C对象被重定位到Node D。
通常的，在一致性哈希算法中，若是一台服务器不可用，则受影响的数据仅仅是此服务器到其环空间中前一台服务器（即沿着逆时针方向行走遇到的第一台服务器）之间数据，其它不会受到影响。
可扩展性
若是在系统中增长一台服务器Node X，以下图所示：
此时对象Object A、B、D不受影响，只有对象C须要重定位到新的Node X 。
通常的，在一致性哈希算法中，若是增长一台服务器，则受影响的数据仅仅是新服务器到其环空间中前一台服务器（即沿着逆时针方向行走遇到的第一台服务器）之间数据，其它数据也不会受到影响。
综上所述，一致性哈希算法对于节点的增减都只需重定位环空间中的一小部分数据，具备较好的容错性和可扩展性。
数据倾斜问题
另外，一致性哈希算法在服务节点太少时，容易由于节点分部不均匀而形成数据倾斜问题。例如系统中只有两台服务器，其环分布以下：
此时必然形成大量数据集中到Node A上，而只有极少许会定位到Node B上。
为了解决这种数据倾斜问题，一致性哈希算法引入了虚拟节点机制，即对每个服务节点计算多个哈希，每一个计算结果位置都放置一个此服务节点，称为虚拟节点。
具体作法能够在服务器ip或主机名的后面增长编号来实现。例如上面的状况，能够为每台服务器计算三个虚拟节点，因而能够分别计算 “Node A#1”、“Node A#2”、“Node A#3”、“Node B#1”、“Node B#2”、“Node B#3”的哈希值，因而造成六个虚拟节点：
同时数据定位算法不变，只是多了一步虚拟节点到实际节点的映射，例如定位到“Node A#1”、“Node A#2”、“Node A#3”三个虚拟节点的数据均定位到Node A上。这样就解决了服务节点少时数据倾斜的问题。
在实际应用中，一般将虚拟节点数设置为32甚至更大，所以即便不多的服务节点也能作到相对均匀的数据分布。
代码测试
一致性Hash模拟类：
package com.example.demo.hash;
import java.util.*;
/**
* 一致性Hash
*
* @author gaochen
* @date 2019/5/29
*/
public class ConsistentHash<T> {
/**
* 节点的复制因子,实际节点个数 * numberOfReplicas
*/
private final int numberOfReplicas;
/**
* 虚拟节点个数,存储虚拟节点的hash值到真实节点的映射
*/
private final SortedMap<Integer, T> circle = new TreeMap<>();
public ConsistentHash(int numberOfReplicas, Collection<T> nodes) {
this.numberOfReplicas = numberOfReplicas;
for (T node : nodes) {
add(node);
}
}
/**
* 模拟添加一个节点
* <p>
* 对于一个实际机器节点 node, 对应 numberOfReplicas 个虚拟节点
* 不一样的虚拟节点(i不一样)有不一样的hash值,但都对应同一个实际机器node
* 虚拟node通常是均衡分布在环上的,数据存储在顺时针方向的虚拟node上
* </P>
*
* @param node 哈希环节点
*/
public void add(T node) {
for (int i = 0; i < numberOfReplicas; i++) {
String nodestr = node.toString() + i;
int hashcode = nodestr.hashCode();
System.out.println("hashcode:" + hashcode);
circle.put(hashcode, node);
}
}
/**
* 删除一个节点
*
* @param node 待删除节点
*/
public void remove(T node) {
for (int i = 0; i < numberOfReplicas; i++) {
circle.remove((node.toString() + i).hashCode());
}
}
/**
* 得到一个最近的顺时针节点,根据给定的key 取Hash
* 而后再取得顺时针方向上最近的一个虚拟节点对应的实际节点
* 再从实际节点中取得 数据
*
* @param key 模拟缓存Key
*/
public T get(Object key) {
if (circle.isEmpty()) {
return null;
}
// node 用String来表示,得到node在哈希环中的hashCode
int hash = key.hashCode();
System.out.println("hashcode----->:" + hash);
//数据映射在两台虚拟机器所在环之间,就须要按顺时针方向寻找机器
if (!circle.containsKey(hash)) {
SortedMap<Integer, T> tailMap = circle.tailMap(hash);
hash = tailMap.isEmpty() ? circle.firstKey() : tailMap.firstKey();
}
return circle.get(hash);
}
/**
* 获取当前哈希环节点数
*
* @return 哈希环节点数
*/
public long getSize() {
return circle.size();
}
/**
* 查看表示整个哈希环中各个虚拟节点位置
*/
public void showBalance() {
//得到TreeMap中全部的Key
Set<Integer> sets = circle.keySet();
//将得到的Key集合排序
SortedSet<Integer> sortedSets = new TreeSet<Integer>(sets);
for (Integer hashCode : sortedSets) {
System.out.println(hashCode);
}
System.out.println("----each location 's distance are follows: ----");
//查看相邻两个hashCode的差值
Iterator<Integer> it = sortedSets.iterator();
Iterator<Integer> it2 = sortedSets.iterator();
if (it2.hasNext()) {
it2.next();
}
long keyPre, keyAfter;
while (it.hasNext() && it2.hasNext()) {
keyPre = it.next();
keyAfter = it2.next();
System.out.println(keyAfter - keyPre);
}
}
}
测试代码：
package com.example.demo.hash;
import org.junit.Before;
import org.junit.Test;
import java.util.Arrays;
import java.util.HashSet;
import java.util.List;
import java.util.Set;
/**
* TODO
*
* @author gaochen
* @date 2019/5/29
*/
public class ConsistentHashTest {
private static ConsistentHash<String> consistentHash;
@Before
public void initHash() {
Set<String> nodes = new HashSet<>();
consistentHash = new ConsistentHash<>(2, nodes);
}
@Test
public void testBalance() {
// 分配三个节点
consistentHash.add("A1");
consistentHash.add("C1");
consistentHash.add("D1");
System.out.println("hash circle size: " + consistentHash.getSize());
System.out.println("location of each node are follows: ");
// consistentHash.showBalance();
// hash值在当前哈希环内
final String key1 = "A31";
// hash值超出了当前哈希环
final String key2 = "Apple";
final List<String> keys = Arrays.asList(key1, key2);
// 模拟节点分配
showAllocate(keys);
// 模拟增长节点, A31被分配到更近的B1节点
consistentHash.add("B1");
System.out.println("增长节点B1");
showAllocate(keys);
System.out.println("-------------------------------------");
// 模拟删除节点, A31被分配到更近的C1节点
consistentHash.remove("B1");
System.out.println("删除节点B1");
showAllocate(keys);
}
/**
* 模拟缓存分配
*
* @param keys 缓存键
*/
private void showAllocate(List<String> keys) {
keys.forEach(key -> {
String node = consistentHash.get(key);
// A31被分配到更近的C1节点
System.out.println(String.format("key %s is allocated to node %s", key, node));
});
}
}
控制台输出：
hashcode:64032 hashcode:64033 hashcode:65954 hashcode:65955 hashcode:66915 hashcode:66916 hash circle size: 6 location of each node are follows: hashcode----->:64095 key A31 is allocated to node C1 hashcode----->:63476538 key Apple is allocated to node A1 hashcode:64993 hashcode:64994 增长节点B1 hashcode----->:64095 key A31 is allocated to node B1 hashcode----->:63476538 key Apple is allocated to node A1 ------------------------------------- 删除节点B1 hashcode----->:64095 key A31 is allocated to node C1 hashcode----->:63476538 key Apple is allocated to node A1
能够看出，增长或删除节点，只会影响到节点与上一个节点之间的元素，因此一致性Hash算法在容错性和可扩展性上面较普通Hash是有巨大提高的。
参考资料
- 1. 对一致性hash算法的理解
- 2. 一致性hash算法的理解
- 3. Hash算法和一致性Hash算法
- 4. 【算法】Hash一致性算法详解
- 5. 一致性hash分片计算(一致性hash原理、hash环)
- 6. 一致性hash算法
- 7. 一致性Hash算法
- 8. 一致性HASH算法
- 9. Hash一致性算法
- 10. 一致性 hash 算法
- 更多相关文章...
- • BASE原理与最终一致性 - NoSQL教程
- • MySQL常用运算符详解 - MySQL教程
- • JDK13 GA发布：5大特性解读
- • 算法总结-广度优先算法
-
每一个你不满意的现在，都有一个你没有努力的曾经。
- 1. 对一致性hash算法的理解
- 2. 一致性hash算法的理解
- 3. Hash算法和一致性Hash算法
- 4. 【算法】Hash一致性算法详解
- 5. 一致性hash分片计算(一致性hash原理、hash环)
- 6. 一致性hash算法
- 7. 一致性Hash算法
- 8. 一致性HASH算法
- 9. Hash一致性算法
- 10. 一致性 hash 算法