哈希算法下——哈希算法在分布式系统中有哪些应用？

1. 应用五：负载均衡

负载均衡算法有不少，好比论询、随机、加权轮询等。那如何才能实现一个会话粘滞（session sticky）的负载均衡算法呢？也就是说，咱们须要在同一个客户端上，把在一次会话中的全部请求都路由到同一个服务器上。

最直接的方法就是，维护一张映射关系表，这张表的内容是客户端 IP 地址或者会话 ID 与服务器编号的映射关系。客户端每次发出请求时，就从映射表中查找到对应的服务器编号，而后再请求该编号的服务器。这种方法简单直观，但也有几个弊端：

• 客户端不少的话映射表就会很大，比较浪费内存；
• 客户端上线下线，服务器扩容缩容都会致使映射失效，维护成本高。

若是借助哈希算法，咱们能够对客户端 IP 地址或者会话 ID 计算哈希值，将获得的哈希值与服务器列表的大小进行取模运算，获得的值就是应该被路由到的服务器。这样，咱们就把同一个 IP 过来的全部请求，都路由到同一个后端服务器上。

2. 应用六：数据分片

2.1. 如何统计 “搜索关键词” 出现的次数？

若是咱们要处理 1T 的日志文件，来统计用户的搜索关键词特性。显然，一台机器不只内存不够，并且处理速度也会很慢。所以，咱们能够先对数据进行分片，而后采用多台数据处理的方法，来提升处理速度。

咱们对读出的每一个搜索关键词用哈希函数来计算哈希值，而后再和机器总数 N 取模，最终获得的值，就是该关键词应该被分配到的机器编号。这样，同一个关键词就会被分配到同一个机器上，每一个机器会分别统计关键词出现的次数，最后再把结果合并起来。

2.2. 如何快速判断图片是否在图库中？

在 哈希算法上 中，咱们介绍了如何应用哈希算法构建散列表来判断图片是否在图库中。但若是图片数量很是多的话，咱们就没法在一台机器上创建散列表。

这时候，咱们就能够仿照上面的思路，将数据进行分片，而后采用多机处理。咱们对图库中的每张图片计算惟一标识，再和机器总数 N 取模，获得的值就是应该被分配到的机器编号，而后咱们把惟一标识和图片路径发往对应的机器构建散列表。

当咱们要判断一张图片是否在图库中的时候，咱们经过一样的哈希算法，计算这个图片的惟一标识，再和机器总数 N 取模，而后就到对应的机器中去查找。

3. 应用七：分布式存储

如今互联网面对的都是海量的数据、海量的用户，为了提升对数据的读取、写入能力，通常都采用分布式的方式来存储数据，好比分布式缓存，咱们须要将数据分布在多台机器上。

该如何决定某个数据该放到哪台机器上呢？咱们能够借用前面数据分片的思想，即经过哈希算法对数据取哈希值，而后对机器个数取模，而后做为该数据应该存储的缓存机器编号。

可是，若是数据增多，原来的 10 个机器已经没法承受了，咱们就须要进行扩容，好比扩充到 11 台机器。这时候，麻烦就来了，原来的数据是经过 10 来取模的，如今须要按照 11 来取模，一样的数据就会被分配到不一样的机器上去了。

所以，全部的数据都须要从新计算哈希值，而后搬移到正确的机器上。这样就至关于缓存中的数据一会儿就都失效了。全部的数据都会穿透缓存，直接去请求数据库。这样就可能发生雪崩效应，压跨数据库。所以，咱们须要一种方法，使得在新加入一个机器后，并不须要作大量的数据搬移。

一致性哈希算法。假设咱们有 K 个机器，数据的哈希值的范围为 [0, MAX]。咱们将整个范围划分为 m 个小区间（m 远大于 K），每一个机器负责 m/K 个小区间。当有新机器加入的时候，咱们就将某几个小区间的数据搬移到新机器上去。这样，既不用所有从新计算哈希值，搬移数据，也保持了各个机器上数据数量的均衡。

参考资料-极客时间专栏《数据结构与算法之美》

获取更多精彩，请关注「seniusen」!