Bloom Filter原理及使用

有过搜索经验的同窗们都知道，当进行网页抓取的时候都会遇到url排重的问题，固然这也是面试常常遇到的问题，同窗们可能会想到不少的方法去解决这个问题，好比用数据库，kv系统，bitmap等等，可是都因为种种问题不能彻底的解决掉排重的问题，数据库在大数据量和高访问量的时候每每会不尽人意，kv库会很耗内存，bitmap会出现很高的冲突率，这时候bloomfilter就成为了很好的选择，一方面是基于内存的具

>>阅读原文<<