Redis-避免缓存穿透的利器之BloomFilter

你知道的越多，你不知道的也越多

点赞再看，养成习惯

前言

你在开发或者面试过程当中，有没有遇到过海量数据须要查重，缓存穿透怎么避免等等这样的问题呢？下面这个东西超屌，好好了解下，面试过关斩将，凸显你的不同。

Bloom Filter 概念

布隆过滤器（英语：Bloom Filter）是1970年由一个叫布隆的小伙子提出的。它其实是一个很长的二进制向量和一系列随机映射函数。布隆过滤器能够用于检索一个元素是否在一个集合中。它的优势是空间效率和查询时间都远远超过通常的算法，缺点是有必定的误识别率和删除困难。

Bloom Filter 原理

布隆过滤器的原理是，当一个元素被加入集合时，经过K个散列函数将这个元素映射成一个位数组中的K个点，把它们置为1。检索时，咱们只要看看这些点是否是都是1就（大约）知道集合中有没有它了：若是这些点有任何一个0，则被检元素必定不在；若是都是1，则被检元素极可能在。这就是布隆过滤器的基本思想。

Bloom Filter跟单哈希函数Bit-Map不一样之处在于：Bloom Filter使用了k个哈希函数，每一个字符串跟k个bit对应。从而下降了冲突的几率。

缓存穿透

每次查询都会直接打到DB

简而言之，言而简之就是咱们先把咱们数据库的数据都加载到咱们的过滤器中，好比数据库的id如今有：一、二、3

那就用id：1 为例子他在上图中通过三次hash以后，把三次本来值0的地方改成1

下次数据进来查询的时候若是id的值是1，那么我就把1拿去三次hash 发现三次hash的值，跟上面的三个位置彻底同样，那就能证实过滤器中有1的

反之若是不同就说明不存在了

那应用的场景在哪里呢？通常咱们都会用来防止缓存击穿

简单来讲就是你数据库的id都是1开始而后自增的，那我知道你接口是经过id查询的，我就拿负数去查询，这个时候，会发现缓存里面没这个数据，我又去数据库查也没有，一个请求这样，100个，1000个，10000个呢？你的DB基本上就扛不住了，若是在缓存里面加上这个，是否是就不存在了，你判断没这个数据就不去查了，直接return一个数据为空不就行了嘛。

这玩意这么好使那有啥缺点么？有的，咱们接着往下看

Bloom Filter的缺点

bloom filter之因此能作到在时间和空间上的效率比较高，是由于牺牲了判断的准确率、删除的便利性

• 存在误判，可能要查到的元素并无在容器中，可是hash以后获得的k个位置上值都是1。若是bloom filter中存储的是黑名单，那么能够经过创建一个白名单来存储可能会误判的元素。

• 删除困难。一个放入容器的元素映射到bit数组的k个位置上是1，删除的时候不能简单的直接置为0，可能会影响其余元素的判断。能够采用Counting Bloom Filter

Bloom Filter 实现

布隆过滤器有许多实现与优化，Guava中就提供了一种Bloom Filter的实现。

在使用bloom filter时，绕不过的两点是预估数据量n以及指望的误判率fpp，

在实现bloom filter时，绕不过的两点就是hash函数的选取以及bit数组的大小。

对于一个肯定的场景，咱们预估要存的数据量为n，指望的误判率为fpp，而后须要计算咱们须要的Bit数组的大小m，以及hash函数的个数k，并选择hash函数

(1)Bit数组大小选择

  根据预估数据量n以及误判率fpp，bit数组大小的m的计算方式：

(2)哈希函数选择

​ 由预估数据量n以及bit数组长度m，能够获得一个hash函数的个数k：

​ 哈希函数的选择对性能的影响应该是很大的，一个好的哈希函数要能近似等几率的将字符串映射到各个Bit。选择k个不一样的哈希函数比较麻烦，一种简单的方法是选择一个哈希函数，而后送入k个不一样的参数。

哈希函数个数k、位数组大小m、加入的字符串数量n的关系能够参考Bloom Filters - the math，Bloom_filter-wikipedia

要使用BloomFilter，须要引入guava包：

<dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>23.0</version>
 </dependency>    
复制代码

测试分两步：

一、往过滤器中放一百万个数，而后去验证这一百万个数是否能经过过滤器

二、另外找一万个数，去检验漏网之鱼的数量

/** * 测试布隆过滤器(可用于redis缓存穿透) * * @author 敖丙 */
public class TestBloomFilter {

    private static int total = 1000000;
    private static BloomFilter<Integer> bf = BloomFilter.create(Funnels.integerFunnel(), total);
// private static BloomFilter<Integer> bf = BloomFilter.create(Funnels.integerFunnel(), total, 0.001);

    public static void main(String[] args) {
        // 初始化1000000条数据到过滤器中
        for (int i = 0; i < total; i++) {
            bf.put(i);
        }

        // 匹配已在过滤器中的值，是否有匹配不上的
        for (int i = 0; i < total; i++) {
            if (!bf.mightContain(i)) {
                System.out.println("有坏人逃脱了~~~");
            }
        }

        // 匹配不在过滤器中的10000个值，有多少匹配出来
        int count = 0;
        for (int i = total; i < total + 10000; i++) {
            if (bf.mightContain(i)) {
                count++;
            }
        }
        System.out.println("误伤的数量：" + count);
    }

}
复制代码

运行结果：

运行结果表示，遍历这一百万个在过滤器中的数时，都被识别出来了。一万个不在过滤器中的数，误伤了320个，错误率是0.03左右。

看下BloomFilter的源码：

public static <T> BloomFilter<T> create(Funnel<? super T> funnel, int expectedInsertions) {
        return create(funnel, (long) expectedInsertions);
    }  

    public static <T> BloomFilter<T> create(Funnel<? super T> funnel, long expectedInsertions) {
        return create(funnel, expectedInsertions, 0.03); // FYI, for 3%, we always get 5 hash functions
    }

    public static <T> BloomFilter<T> create( Funnel<? super T> funnel, long expectedInsertions, double fpp) {
        return create(funnel, expectedInsertions, fpp, BloomFilterStrategies.MURMUR128_MITZ_64);
    }

    static <T> BloomFilter<T> create( Funnel<? super T> funnel, long expectedInsertions, double fpp, Strategy strategy) {
     ......
    }
复制代码

BloomFilter一共四个create方法，不过最终都是走向第四个。看一下每一个参数的含义：

funnel：数据类型(通常是调用Funnels工具类中的)

expectedInsertions：指望插入的值的个数

fpp 错误率(默认值为0.03)

strategy 哈希算法(我也不懂啥意思)Bloom Filter的应用

在最后一个create方法中，设置一个断点：

上面的numBits，表示存一百万个int类型数字，须要的位数为7298440，700多万位。理论上存一百万个数，一个int是4字节32位，须要481000000=3200万位。若是使用HashMap去存，按HashMap50%的存储效率，须要6400万位。能够看出BloomFilter的存储空间很小，只有HashMap的1/10左右

上面的numHashFunctions，表示须要5个函数去存这些数字

使用第三个create方法，咱们设置下错误率：

private static BloomFilter<Integer> bf = BloomFilter.create(Funnels.integerFunnel(), total, 0.0003);
复制代码

再运行看看：

此时误伤的数量为4，错误率为0.04%左右。

当错误率设为0.0003时，所须要的位数为16883499，1600万位，须要12个函数

和上面对比能够看出，错误率越大，所需空间和时间越小，错误率越小，所需空间和时间约大

常见的几个应用场景：

• cerberus在收集监控数据的时候, 有的系统的监控项量会很大, 须要检查一个监控项的名字是否已经被记录到db过了, 若是没有的话就须要写入db.

• 爬虫过滤已抓到的url就再也不抓，可用bloom filter过滤

• 垃圾邮件过滤。若是用哈希表，每存储一亿个 email地址，就须要 1.6GB的内存（用哈希表实现的具体办法是将每个 email地址对应成一个八字节的信息指纹，而后将这些信息指纹存入哈希表，因为哈希表的存储效率通常只有 50%，所以一个 email地址须要占用十六个字节。一亿个地址大约要 1.6GB，即十六亿字节的内存）。所以存贮几十亿个邮件地址可能须要上百 GB的内存。而Bloom Filter只须要哈希表 1/8到 1/4 的大小就能解决一样的问题。

总结

布隆过滤器主要是在回答道缓存穿透的时候引出来的，文章里面仍是写的比较复杂了，不少都是网上我看到就复制下来了，你们只要知道他的原理，还有就是知道他的场景能在面试中回答出他的做用就行了。

说到服务器，最近双十一，阿里云的服务器对新用户很友好（老用户悄悄用爸妈手机注册），贼便宜！

经过个人连接购买，一年最低仅需86块（新用户专享，若是不是新用户的能够用家里人的帐号购买），80一年，200三年我以为跟白嫖差很少，我直接用老妈帐号买了三年的，准备搭建一个小项目玩玩。你们能够买来玩玩，想看服务器文章的朋友留言给我，能够的话我会写一期怎么利用服务器的文章。

点个人连接去买有优惠哟

好了 以上就是这篇文章的所有内容了，你们能够看一下我更新的Java面试吊打系列和Java技术栈相关的文章。若是你有什么想知道的，也能够点留言给我，我一有时间就会写出来，咱们共同进步。

很是感谢您能看到这里，若是这个文章写得还不错的话 求点赞 求关注 求分享 求留言 各位的支持和承认，就是我创做的最大动力，OK各位咱们下期见！

敖丙 | 文

---

后面会持续更新《吊打面试官》系列能够关注个人公众号 JavaFamily 第一时间阅读，也会有朋友一线大厂的内推机会不按期推出（字节跳动，阿里，网易，PDD，滴滴，蘑菇街等），就业上有什么问题也能够直接微信滴滴我，我也是个新人，不过不影响咱们一块儿进步，做为渣男，我给不了你工做，还给不了你温暖嘛？