Bloom Filter原理与实现

在作与Web爬虫有关的任务时，常常这样须要作这样的判断：对于新爬到的URL，咱们须要判断这个新的URL是否已经在已有的URL集合中存在了。可是当已经存在的URL集合的数据量极其庞大时，这个存在性的判断工做就变得颇有挑战性。python 把这个问题抽象出来，就是说：如今须要一种算法（工具），帮助咱们实现一种高效而准确的，元素在集合中的存在性判断。git 为了解决上面说的这一类问题，人们从简入难，想出

>>阅读原文<<