布隆过滤器基础原理

布隆过滤器（Bloom Filter）

是1970年由布隆提出的。它其实是一个很长的二进制向量和一系列随机映射函数。布隆过滤器能够用于检索一个元素是否在一个集合中。

它的优势是空间效率和查询时间都比通常的算法要好的多，缺点是有必定的误识别率和删除困难。

本质上布隆过滤器是一种数据结构，比较巧妙的几率型数据结构（probabilistic data structure），特色是高效地插入和查询，能够用来告诉你

“某样东西必定不存在或者可能存在”，可能存在的前提下再去数据库进行准确查找，或者查找白名单。

 

实现原理

HashMap 的问题

讲述布隆过滤器的原理以前，咱们先思考一下，一般你判断某个元素是否存在用的是什么？应该蛮多人回答 HashMap 吧，确实能够将值映射到 HashMap 的 Key，而后能够在 O(1) 的时间复杂度内返回结果，效率奇高。

可是 HashMap 的实现也有缺点，例如存储容量占比高，考虑到负载因子的存在，一般空间是不能被用满的，而一旦你的值不少例如上亿的时候，那 HashMap 占据的内存大小就变得很可观了。

还好比说你的数据集存储在远程服务器上，本地服务接受输入，而数据集很是大不可能一次性读进内存构建 HashMap 的时候，也会存在问题。

布隆过滤器数据结构

布隆过滤器是一个 bit 向量或者说 bit 数组，长这样：

 

 

image

若是咱们要映射一个值到布隆过滤器中，咱们须要使用多个不一样的哈希函数生成多个哈希值，并对每一个生成的哈希值指向的 bit 位置 1，例如针对值 “baidu” 和三个不一样的哈希函数分别生成了哈希值 一、四、7，则上图转变为：

 

 

image

Ok，咱们如今再存一个值 “tencent”，若是哈希函数返回 三、四、8 的话，图继续变为：

 

 

image

值得注意的是，4 这个 bit 位因为两个值的哈希函数都返回了这个 bit 位，所以它被覆盖了。如今咱们若是想查询 “dianping” 这个值是否存在，哈希函数返回了 一、五、8三个值，

结果咱们发现 5 这个 bit 位上的值为 0，说明没有任何一个值映射到这个 bit 位上，所以咱们能够很肯定地说 “dianping” 这个值不存在。而当咱们须要查询 “baidu” 这个值是否存在的话，

那么哈希函数必然会返回 一、四、7，而后咱们检查发现这三个 bit 位上的值均为 1，那么咱们能够说 “baidu” 存在了么？答案是不能够，只能是 “baidu” 这个值可能存在。

这是为何呢？答案跟简单，由于随着增长的值愈来愈多，被置为 1 的 bit 位也会愈来愈多，这样某个值 “taobao” 即便没有被存储过，可是万一哈希函数返回的三个 bit 位都被其余值置位了 1 ，那么程序仍是会判断 “taobao” 这个值存在。

 

应用：

1.网页URL的去重

2.垃圾邮件的判别

3.集合重复元素的判别

4.查询加速（好比基于key-value的存储系统）