使用.Net Core实现FNV分布式hash一致性算法

目录

• 使用.Net Core实现FNV分布式hash一致性算法
  • Memcached
  • FNV分布式hash算法实现
    • FNV1算法实现
  • 为何使用FNV算法实现hash一致性

使用.Net Core实现FNV分布式hash一致性算法

说到FNV哈希算法不得不提Memcached，咱们先简单介绍一下Memcached。

Memcached

Memcached分为客户端与服务端，Memcached是服务端，服务端自己不提供分布式实现，只是一个单独的k-v缓存；Memcached的分布式是在客户端类库中实现的，也就是说你能够根据本身的须要实现不一样的分布式方案，不必定非得使用FNV哈希算法。

Memcached经过FNV算法实现了服务的分布式，并经过引入虚拟节点的办法尽可能是服务器分布的更均匀。已经有不少文章在介绍Memcached的分布式实现原理了，因此我就不那么多废话了。

FNV分布式hash算法实现

若是你还不了解FNV哈希算法，能够先看一下我以前的文章，在那里我摘录了wiki上的FNV哈希算法实现公式。

FNV1算法实现

代码实现上我将参考MD5算法的实现来编写FNV1算法：

1. 首先，我将建立一个FNV1类，该类须要实现HashAlgorithm，之因此实现HashAlgorithm，是由于该抽象类定义了hash算法通用的接口，这样也可使咱们的实现与.net框架集成的更好，固然若是你不喜欢也能够不实现HashAlgorithm，就当是写了一个独立的帮助类。

2. 而后，咱们重写Create方法，这里咱们将建立一个FNV1类的实例

3. 最后，咱们去实现这个FNV1类

   全部实现代码以下：

//首先我将建立FNV1类 
public abstract class FNV1 : HashAlgorithm
{
    //重写隐藏HashAlgorithm的Create方法
    public static new FNV1 Create()
    {
        return new Implementation();
    }
    //下面FNV1的实现咱们彻底是套用的公式没有什么好讲的
    private sealed class Implementation : FNV1
    {
        private const uint OFFSETBASIS = 2166136261;
        private const uint PRIME = 16777619;
        private uint _hash;
        public override void Initialize()
        {
            _hash = OFFSETBASIS;
        }
        protected override void HashCore(byte[] array, int ibStart, int cbSize)
        {
            int end = ibStart + cbSize;
            for (var index = ibStart; index < end; index++)
            {
            _hash *= PRIME;
            _hash ^= array[index];
            }
        }
        protected override byte[] HashFinal()
        {
            return BitConverter.GetBytes(_hash);
        }
    }
}


## 使用方法

var bytes=Encoding.UTF8.GetBytes("Test");
var hashBytes=FNV1.Create().ComputerHash(bytes);
var hashValue=BitConverter.ToUInt32(hashBytes);

FNV其实还有FNV1a算法，与FNV1有些许的区别，这里我就不一一实现了，你能够参考FNV1的实现和FNV哈希算法来实现FNV1a算法。我有一个帮助类MicroFx.Cryptography分别实现了FNV1和FNV1a的32bit、64bit算法版本。

为何使用FNV算法实现hash一致性

不管是分布式算法仍是hash一致性算法都不仅有一种或几种实现方案，但Memached为何会选择FNV算法，而不是md5，不是sha呢？我有本身的认识。

1. 咱们先看几行代码，分别使用MD5，sha，FNV算法计算一个Test字符串的哈希值，而后对比hash结果中数组的长度

   var bytes = Encoding.UTF8.GetBytes("Test");
   var shabytes = SHA1.Create().ComputeHash(bytes); //shabytes长度为20，及160bit
   var md5bytes=MD5.Create().ComputeHash(bytes);    //md5bytes长度为16，及128bit
   var fnvbytes = FNV1a.Create().ComputeHash(bytes); //fnvbytes长度为4，及32bit

   算法	取值范围
   sha1	[0,2^160-1]
   md5	[0,2^128-1]
   fnv	[0,2^32-1]

   从上表咱们能够看出，FNV的取值范围最小，若是将区间内的每个整数看作一个Memcached服务端节点，那么FNV容纳的数量最少，但相对于实际的环境下已经足够多了，这样咱们每次在计算一台服务器属于哪一个节点的时候速度上会比md五、sha1快不少。

2. FNV的32bit计算结果值恰好是一个uint类型，.net core最大支持ulong也就是uint64，再大的话就须要咱们本身实现，因此这也是选择FNV的一个缘由。（或许我这里不该该拿.net举例，但实际经常使用的高级语言最大也是64bit）