基于Redis的Bloomfilter去重（附Python代码）

前言： “去重”是平常工做中会常常用到的一项技能，在爬虫领域更是经常使用，而且规模通常都比较大。去重须要考虑两个点：去重的数据量、去重速度。为了保持较快的去重速度，通常选择在内存中进行去重。python 数据量不大时，能够直接放在内存里面进行去重，例如python可使用set()进行去重。 当去重数据须要持久化时可使用redis的set数据结构。 当数据量再大一点时，能够用不一样的加密算法先将长字

>>阅读原文<<