网络爬虫：URL去重策略之布隆过滤器(BloomFilter)的使用

前言：   最近被网络爬虫中的去重策略所困扰。使用一些其余的“理想”的去重策略，不过在运行过程当中老是会不太听话。不过当我发现了BloomFilter这个东西的时候，的确，这里是我目前找到的最靠谱的一种方法。html   若是，你说URL去重嘛，有什么难的。那么你能够看完下面的一些问题再说这句话。 java 关于BloomFilter：   Bloom filter 是由 Howard Bloom

>>阅读原文<<