BloomFilter——大规模数据处理利器(爬虫判重)

http://www.cnblogs.com/heaad/archive/2011/01/02/1924195.htmlhtml Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。一般应用在一些须要快速判断某个元素是否属于集合，可是并不严格要求100%正确的场合。java   一. 实例 node 　　为了说明Bloom Filter存在的重要意义，举一个实

>>阅读原文<<