url去重：布隆过滤器-python实现

布隆过滤器是什么？php 在爬虫爬取网页的时候，咱们会作的一件事情是判断这个网页是否以前已经爬取过。这个检验步骤在以前的文章里我是用了一个#集合#来保存已经爬取过的网页，而在计算机当中，使用hash表来保存。Hash表的好处就是可以快速定位，而它的缺点也众所皆知，就是存储空间的浪费。 为何会浪费存储空间呢？css 哈希表方法须要把实实在在的具备特定长度的元素的信息指纹存储在内存或硬盘中的哈希表中（

>>阅读原文<<