布隆过滤器 过程详解

布隆过滤器是用来处理爬虫去重问题或者黑名单问题的。 爬虫去重问题：将访问过的URL存储在数据库中，对于新进的URL，判断数据库中是否存在这个URL。（URL的量很大） 黑名单问题：假设给定100亿个URL是黑名单，用户输入一个URL，判断这个URL是否在黑名单中存在。 我们以黑名单问题举例： 布隆过滤器： 1：首先准备一个比特类型的数组，数组的大小为m。 如何准备呢？ 我们知道，一个整型的大小是四

>>阅读原文<<