布隆过滤器（Bloom Filter）的简单实现

最近在部署Scrapy项目时，了解到Scrapy_Redis的去重机制并不太友好。查询以后发现了一个更好的去重方式——布隆过滤器。html 使用布隆过滤器的缘由：python 关于布隆过滤器的详细原理及介绍，推荐一个博客：https://www.cnblogs.com/haippy/archive/2012/07/13/2590351.htmlgit 须要从Scrapy_Redis的去重机制谈起：

>>阅读原文<<