一道腾讯面试题：如何快速判断某 URL 是否在 20 亿的网址 URL 集合中？布隆过滤器

• 何为布隆过滤器

• 仍是以上面的例子为例：

• 判断逻辑：

• 屡次哈希：

• Guava的BloomFilter

• 建立BloomFilter

• 最终仍是调用：

• 使用:

• 算法特色

• 使用场景

---

假设遇到这样一个问题：一个网站有 20 亿 url 存在一个黑名单中，这个黑名单要怎么存？若此时随便输入一个 url，你如何快速判断该 url 是否在这个黑名单中？而且需在给定内存空间（好比：500M）内快速判断出。

可能不少人首先想到的会是使用 HashSet，由于 HashSet基于 HashMap，理论上时间复杂度为：O(1)。达到了快速的目的，可是空间复杂度呢？URL字符串经过Hash获得一个Integer的值，Integer占4个字节，那20亿个URL理论上须要：20亿*4/1024/1024/1024=7.45G的内存，不知足空间复杂度的要求。

这里就引出本文要介绍的“布隆过滤器”。

何为布隆过滤器

百科上对布隆过滤器的介绍是这样的：

布隆过滤器（Bloom Filter）是1970年由布隆提出的。它其实是一个很长的二进制向量和一系列随机映射函数。布隆过滤器能够用于检索一个元素是否在一个集合中。它的优势是空间效率和查询时间都比通常的算法要好的多，缺点是有必定的误识别率和删除困难。

是否是描述的比较抽象？那就直接了解其原理吧！

仍是以上面的例子为例：

哈希算法得出的Integer的哈希值最大为：Integer.MAX_VALUE=2147483647，意思就是任何一个URL的哈希都会在0~2147483647之间。

那么能够定义一个2147483647长度的byte数组，用来存储集合全部可能的值。为了存储这个byte数组，系统只须要：2147483647/8/1024/1024=256M。

好比：某个URL（X）的哈希是2，那么落到这个byte数组在第二位上就是1，这个byte数组将是：000….00000010，重复的，将这20亿个数所有哈希并落到byte数组中。

判断逻辑：

若是byte数组上的第二位是1，那么这个URL（X）可能存在。为何是可能？由于有可能其它URL因哈希碰撞哈希出来的也是2，这就是误判。

可是若是这个byte数组上的第二位是0，那么这个URL（X）就必定不存在集合中。

屡次哈希：

为了减小因哈希碰撞致使的误判几率，能够对这个URL（X）用不一样的哈希算法进行N次哈希，得出N个哈希值，落到这个byte数组上，若是这N个位置没有都为1，那么这个URL（X）就必定不存在集合中。

Guava的BloomFilter

Guava框架提供了布隆过滤器的具体实现：BloomFilter，使得开发不用再本身写一套算法的实现。

建立BloomFilter

BloomFilter提供了几个重载的静态 create方法来建立实例：

public static <T> BloomFilter<T> create(Funnel<? super T> funnel, int expectedInsertions, double fpp);
public static <T> BloomFilter<T> create(Funnel<? super T> funnel, long expectedInsertions, double fpp);
public static <T> BloomFilter<T> create(Funnel<? super T> funnel, int expectedInsertions);
public static <T> BloomFilter<T> create(Funnel<? super T> funnel, long expectedInsertions);

最终仍是调用：

static <T> BloomFilter<T> create(Funnel<? super T> funnel, long expectedInsertions, double fpp, Strategy strategy);
// 参数含义：
// funnel 指定布隆过滤器中存的是什么类型的数据，有：IntegerFunnel，LongFunnel，StringCharsetFunnel。
// expectedInsertions 预期须要存储的数据量
// fpp 误判率，默认是0.03。

BloomFilter里byte数组的空间大小由 expectedInsertions， fpp参数决定，见方法：

static long optimalNumOfBits(long n, double p) {
    if (p == 0) {
        p = Double.MIN_VALUE;
    }
    return (long) (-n * Math.log(p) / (Math.log(2) * Math.log(2)));
}

真正的byte数组维护在类：BitArray中。

使用:

最后经过：put和 mightContain方法，添加元素和判断元素是否存在。

算法特色

一、因使用哈希判断，时间效率很高。空间效率也是其一大优点。二、有误判的可能，需针对具体场景使用。三、由于没法分辨哈希碰撞，因此不是很好作删除操做。

使用场景

一、黑名单 二、URL去重 三、单词拼写检查 四、Key-Value缓存系统的Key校验 五、ID校验，好比订单系统查询某个订单ID是否存在，若是不存在就直接返回。