使用BloomFilter布隆过滤器解决缓存击穿、垃圾邮件识别、集合判重

  Bloom Filter是一个占用空间很小、效率很高的随机数据结构，它由一个bit数组和一组Hash算法构成。可用于判断一个元素是否在一个集合中，查询效率很高（1-N，最优能逼近于1）。 在很多场景下，我们都需要一个能迅速判断一个元素是否在一个集合中。譬如： 网页爬虫对URL的去重，避免爬取相同的URL地址； 反垃圾邮件，从数十亿个垃圾邮件列表中判断某邮箱是否垃圾邮箱（同理，垃圾短信）； 缓存

>>阅读原文<<