【Scrapy-03】布隆过滤器、存储数据库以及其余一些图片爬取的技巧

Python3+Windows的环境，使用布隆过滤器确实不是一个很明智的选择，由于要么现成的模块不支持Windows平台，要么就是只支持Python2，要么就是对文件操做的支持不理想。通过不懈努力，找到一个叫作bloom_filter的。html ——布隆过滤器的使用，使用效果确实不错，先本身新建一个文件，而后每次打开，检查是否存在，不存在就添加，存在的话就不错什么处理了。这里面我作了两个布隆过滤

>>阅读原文<<