布隆过滤器简介

引文 思考一个问题：从大量数据里面如何高效率地去重？ 有过一点编程经验的人都知道，可以通过Set这种数据结构来做到。比如HashSet，采用了Hash算法，可以在O(1)的复杂度完成数据的添加和查询操作。确实，大多数情况，这也是我们会采取的方案。但是因为Set需要保存源数据信息，且有Hash冲突，当样本数据量特别庞大的情况下，比如有千万甚至上亿的数据量时，这种方式显得有些不切实际。 布隆过滤器 布

>>阅读原文<<