分布式算法(一致性Hash算法)

时间 2019-11-15

原文原文链接

1、分布式算法html

在作服务器负载均衡时候可供选择的负载均衡的算法有不少，包括：轮循算法(Round Robin)、哈希算法(HASH)、最少链接算法(Least Connection)、响应速度算法(Response Time)、加权法(Weighted )等。其中哈希算法是最为经常使用的算法.java

典型的应用场景是：有N台服务器提供缓存服务，须要对服务器进行负载均衡，将请求平均分发到每台服务器上，每台机器负责1/N的服务。node

经常使用的算法是对hash结果取余数 (hash() mod N )：对机器编号从0到N-1，按照自定义的 hash()算法，对每一个请求的hash()值按N取模，获得余数i，而后将请求分发到编号为i的机器。但这样的算法方法存在致命问题，若是某一台机器宕机，那么应该落在该机器的请求就没法获得正确的处理，这时须要将当掉的服务器从算法从去除，此时候会有(N-1)/N的服务器的缓存数据须要从新进行计算;若是新增一台机器，会有N /(N+1)的服务器的缓存数据须要进行从新计算。对于系统而言，这一般是不可接受的颠簸(由于这意味着大量缓存的失效或者数据须要转移)。那么，如何设计一个负载均衡策略，使得受到影响的请求尽量的少呢?web

在Memcached、Key-Value Store 、Bittorrent DHT、LVS中都采用了Consistent Hashing算法，能够说Consistent Hashing 是分布式系统负载均衡的首选算法。算法

2、分布式缓存问题数据库

在大型web应用中，缓存可算是当今的一个标准开发配置了。在大规模的缓存应用中，应运而生了分布式缓存系统。分布式缓存系统的基本原理，你们也有所耳闻。key-value如何均匀的分散到集群中？说到此，最常规的方式莫过于hash取模的方式。好比集群中可用机器适量为N，那么key值为K的的数据请求很简单的应该路由到hash(K) mod N对应的机器。的确，这种结构是简单的，也是实用的。可是在一些高速发展的web系统中，这样的解决方案仍有些缺陷。随着系统访问压力的增加，缓存系统不得不经过增长机器节点的方式提升集群的相应速度和数据承载量。增长机器意味着按照hash取模的方式，在增长机器节点的这一时刻，大量的缓存命不中，缓存数据须要从新创建，甚至是进行总体的缓存数据迁移，瞬间会给DB带来极高的系统负载，设置致使DB服务器宕机。那么就没有办法解决hash取模的方式带来的诟病吗？缓存

假设咱们有一个网站，最近发现随着流量增长，服务器压力愈来愈大，以前直接读写数据库的方式不太给力了，因而咱们想引入Memcached做为缓存机制。如今咱们一共有三台机器能够做为Memcached服务器，以下图所示：服务器

很显然，最简单的策略是将每一次Memcached请求随机发送到一台Memcached服务器，可是这种策略可能会带来两个问题：一是同一份数据可能被存在不一样的机器上而形成数据冗余，二是有可能某数据已经被缓存可是访问却没有命中，由于没法保证对相同key的全部访问都被发送到相同的服务器。所以，随机策略不管是时间效率仍是空间效率都很是很差。负载均衡

要解决上述问题只需作到以下一点：保证对相同key的访问会被发送到相同的服务器。不少方法能够实现这一点，最经常使用的方法是计算哈希。例如对于每次访问，能够按以下算法计算其哈希值：分布式

h = Hash(key) % 3

其中Hash是一个从字符串到正整数的哈希映射函数。这样，若是咱们将Memcached Server分别编号为0、一、2，那么就能够根据上式和key计算出服务器编号h，而后去访问。

这个方法虽然解决了上面提到的两个问题，可是存在一些其它的问题。若是将上述方法抽象，能够认为经过：

h = Hash(key) % N

这个算式计算每一个key的请求应该被发送到哪台服务器，其中N为服务器的台数，而且服务器按照0 – (N-1)编号。

这个算法的问题在于容错性和扩展性很差。所谓容错性是指当系统中某一个或几个服务器变得不可用时，整个系统是否能够正确高效运行；而扩展性是指当加入新的服务器后，整个系统是否能够正确高效运行。

现假设有一台服务器宕机了，那么为了填补空缺，要将宕机的服务器从编号列表中移除，后面的服务器按顺序前移一位并将其编号值减一，此时每一个key就要按h = Hash(key) % (N-1)从新计算；一样，若是新增了一台服务器，虽然原有服务器编号不用改变，可是要按h = Hash(key) % (N+1)从新计算哈希值。所以系统中一旦有服务器变动，大量的key会被重定位到不一样的服务器从而形成大量的缓存不命中。而这种状况在分布式系统中是很是糟糕的。

一个设计良好的分布式哈希方案应该具备良好的单调性，即服务节点的增减不会形成大量哈希重定位。一致性哈希算法就是这样一种哈希方案。

Hash 算法的一个衡量指标是单调性（ Monotonicity ），定义以下：单调性是指若是已经有一些内容经过哈希分派到了相应的缓冲中，又有新的缓冲加入到系统中。哈希的结果应可以保证原有已分配的内容能够被映射到新的缓冲中去，而不会被映射到旧的缓冲集合中的其余缓冲区。

容易看到，上面的简单 hash 算法 hash(object)%N 难以知足单调性要求

3、一致性哈希算法的理解

一、算法简述

一致性哈希算法(Consistent Hashing Algorithm)是一种分布式算法，经常使用于负载均衡。Memcached client也选择这种算法，解决将key-value均匀分配到众多Memcached server上的问题。它能够取代传统的取模操做，解决了取模操做没法应对增删Memcached Server的问题(增删server会致使同一个key,在get操做时分配不到数据真正存储的server，命中率会急剧降低)。

简单来讲，一致性哈希将整个哈希值空间组织成一个虚拟的圆环，如假设某哈希函数H的值空间为0 - (2^32)-1（即哈希值是一个32位无符号整形），整个哈希空间环以下：

整个空间按顺时针方向组织。0和(2^32)-1在零点中方向重合。

下一步将各个服务器使用H进行一个哈希，具体能够选择服务器的ip或主机名做为关键字进行哈希，这样每台机器就能肯定其在哈希环上的位置，这里假设将上文中三台服务器使用ip地址哈希后在环空间的位置以下：

接下来使用以下算法定位数据访问到相应服务器：将数据key使用相同的函数H计算出哈希值h，通根据h肯定此数据在环上的位置，今后位置沿环顺时针“行走”，第一台遇到的服务器就是其应该定位到的服务器。

例如咱们有A、B、C、D四个数据对象，通过哈希计算后，在环空间上的位置以下：

根据一致性哈希算法，数据A会被定为到Server 1上，D被定为到Server 3上，而B、C分别被定为到Server 2上。

二、容错性与可扩展性分析

下面分析一致性哈希算法的容错性和可扩展性。现假设Server 3宕机了：

能够看到此时A、C、B不会受到影响，只有D节点被重定位到Server 2。通常的，在一致性哈希算法中，若是一台服务器不可用，则受影响的数据仅仅是此服务器到其环空间中前一台服务器（即顺着逆时针方向行走遇到的第一台服务器）之间数据，其它不会受到影响。

下面考虑另一种状况，若是咱们在系统中增长一台服务器Memcached Server 4：

此时A、D、C不受影响，只有B须要重定位到新的Server 4。通常的，在一致性哈希算法中，若是增长一台服务器，则受影响的数据仅仅是新服务器到其环空间中前一台服务器（即顺着逆时针方向行走遇到的第一台服务器）之间数据，其它不会受到影响。

综上所述，一致性哈希算法对于节点的增减都只需重定位环空间中的一小部分数据，具备较好的容错性和可扩展性。

三、虚拟节点

一致性哈希算法在服务节点太少时，容易由于节点分部不均匀而形成数据倾斜问题。例如咱们的系统中有两台服务器，其环分布以下：

此时必然形成大量数据集中到Server 1上，而只有极少许会定位到Server 2上。为了解决这种数据倾斜问题，一致性哈希算法引入了虚拟节点机制，即对每个服务节点计算多个哈希，每一个计算结果位置都放置一个此服务节点，称为虚拟节点。具体作法能够在服务器ip或主机名的后面增长编号来实现。例如上面的状况，咱们决定为每台服务器计算三个虚拟节点，因而能够分别计算“Memcached Server 1#1”、“Memcached Server 1#2”、“Memcached Server 1#3”、“Memcached Server 2#1”、“Memcached Server 2#2”、“Memcached Server 2#3”的哈希值，因而造成六个虚拟节点：

四、JAVA实现

import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;
import java.util.Collection;
import java.util.SortedMap;
import java.util.TreeMap;

/**
 * 一致性Hash算法
 *
 * @param <T> 节点类型
 */
public class ConsistentHash<T> {
    /**
     * Hash计算对象，用于自定义hash算法
     */
    HashFunc hashFunc;
    /**
     * 复制的节点个数
     */
    private final int numberOfReplicas;
    /**
     * 一致性Hash环
     */
    private final SortedMap<Long, T> circle = new TreeMap<>();

    /**
     * 构造，使用Java默认的Hash算法
     * @param numberOfReplicas 复制的节点个数，增长每一个节点的复制节点有利于负载均衡
     * @param nodes            节点对象
     */
    public ConsistentHash(int numberOfReplicas, Collection<T> nodes) {
        this.numberOfReplicas = numberOfReplicas;
        this.hashFunc = new HashFunc() {

            @Override
            public Long hash(Object key) {
//                return fnv1HashingAlg(key.toString());
                return md5HashingAlg(key.toString());
            }
        };
        //初始化节点
        for (T node : nodes) {
            add(node);
        }
    }

    /**
     * 构造
     * @param hashFunc         hash算法对象
     * @param numberOfReplicas 复制的节点个数，增长每一个节点的复制节点有利于负载均衡
     * @param nodes            节点对象
     */
    public ConsistentHash(HashFunc hashFunc, int numberOfReplicas, Collection<T> nodes) {
        this.numberOfReplicas = numberOfReplicas;
        this.hashFunc = hashFunc;
        //初始化节点
        for (T node : nodes) {
            add(node);
        }
    }

    /**
     * 增长节点<br>
     * 每增长一个节点，就会在闭环上增长给定复制节点数<br>
     * 例如复制节点数是2，则每调用此方法一次，增长两个虚拟节点，这两个节点指向同一Node
     * 因为hash算法会调用node的toString方法，故按照toString去重
     *
     * @param node 节点对象
     */
    public void add(T node) {
        for (int i = 0; i < numberOfReplicas; i++) {
            circle.put(hashFunc.hash(node.toString() + i), node);
        }
    }

    /**
     * 移除节点的同时移除相应的虚拟节点
     *
     * @param node 节点对象
     */
    public void remove(T node) {
        for (int i = 0; i < numberOfReplicas; i++) {
            circle.remove(hashFunc.hash(node.toString() + i));
        }
    }

    /**
     * 得到一个最近的顺时针节点
     *
     * @param key 为给定键取Hash，取得顺时针方向上最近的一个虚拟节点对应的实际节点
     * @return 节点对象
     */
    public T get(Object key) {
        if (circle.isEmpty()) {
            return null;
        }
        long hash = hashFunc.hash(key);
        if (!circle.containsKey(hash)) {
            SortedMap<Long, T> tailMap = circle.tailMap(hash); //返回此映射的部分视图，其键大于等于 hash
            hash = tailMap.isEmpty() ? circle.firstKey() : tailMap.firstKey();
        }
        //正好命中
        return circle.get(hash);
    }

    /**
     * 使用MD5算法
     * @param key
     * @return
     */
    private static long md5HashingAlg(String key) {
        MessageDigest md5 = null;
        try {
            md5 = MessageDigest.getInstance("MD5");
            md5.reset();
            md5.update(key.getBytes());
            byte[] bKey = md5.digest();
            long res = ((long) (bKey[3] & 0xFF) << 24) | ((long) (bKey[2] & 0xFF) << 16) | ((long) (bKey[1] & 0xFF) << 8)| (long) (bKey[0] & 0xFF);
            return res;
        } catch (NoSuchAlgorithmException e) {
            e.printStackTrace();
        }
        return 0l;
    }

    /**
     * 使用FNV1hash算法
     * @param key
     * @return
     */
    private static long fnv1HashingAlg(String key) {
        final int p = 16777619;
        int hash = (int) 2166136261L;
        for (int i = 0; i < key.length(); i++)
            hash = (hash ^ key.charAt(i)) * p;
        hash += hash << 13;
        hash ^= hash >> 7;
        hash += hash << 3;
        hash ^= hash >> 17;
        hash += hash << 5;
        return hash;
    }

    /**
     * Hash算法对象，用于自定义hash算法
     */
    public interface HashFunc {
        public Long hash(Object key);
    }
}

Consistent Hashing最大限度地抑制了hash键的从新分布。另外要取得比较好的负载均衡的效果，每每在服务器数量比较少的时候须要增长虚拟节点来保证服务器能均匀的分布在圆环上。由于使用通常的hash方法，服务器的映射地点的分布很是不均匀。使用虚拟节点的思想，为每一个物理节点（服务器）在圆上分配100～200个点。这样就能抑制分布不均匀，最大限度地减少服务器增减时的缓存从新分布。用户数据映射在虚拟节点上，就表示用户数据真正存储位置是在该虚拟节点表明的实际物理服务器上。

原文连接请参见：http://my.oschina.net/xianggao/blog/394545?fromerr=Df6BNkP4

其它连接请参考：http://www.cnblogs.com/haippy/archive/2011/12/10/2282943.html