亿级数据去重之布隆过滤器

标题很唬人吧，标题党就是本喵了哈哈哈哈哈哈哈。好了回归正题，在咱们进行一些爬虫爬取数据的时候，若是保证去重呢，今天和你们聊一聊使用布隆过滤器去重。html 首先什么是布隆过滤器呢，让咱们依旧来看看百度百科。python 布隆过滤器（Bloom Filter）是1970年由布隆提出的。它其实是一个很长的二进制向量和一系列随机映射函数。布隆过滤器能够用于检索一个元素是否在一个集合中。它的优势是空间效率

>>阅读原文<<