Python 操做 mongodb 亿级数据量使用 Bloomfilter 高效率判断惟一性 例子

工做须要使用 python 处理 mongodb 数据库两亿数据量去重复，须要在大数据量下快速判断数据是否存在python 参考资料:https://segmentfault.com/q/1010000000613729mongodb 网上了解到 Bloom Filter ，Bloom filter 是由 Howard Bloom 在 1970 年提出的二进制向量数据结构，它具备很好的空间和时间效

>>阅读原文<<