大数据量，海量数据 处理方法总结

1.Bloom filter 适用范围：能够用来实现数据字典，进行数据的判重，或者集合求交集 基本原理及要点： 对于原理来讲很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1， 查找时若是发现全部hash函数对应位都是1说明存在，很明显这个过程并不保证查找的 结果是100%正确的。同时也不支持删除一个已经插入的关键字，由于该关键字对应的位 会牵动到其余的关键字。因此一个简单的

>>阅读原文<<