大量数据去重：Bitmap位图算法和布隆过滤器(Bloom Filter)

Bitmap算法 与其说是算法，不如说是一种紧凑的数据存储结构。是用内存中连续的二进制位(bit)，用于对大量整型数据做去重和查询。其实如果并非如此大量的数据，有很多排重方案可以使用，典型的就是哈希表。 实际上，哈希表为每一个可能出现的数字提供了一个一一映射的关系，每个元素都相当于有了自己的独享的一份空间，这个映射由散列函数来提供（这里我们先不考虑碰撞）。实际上哈希表甚至还能记录每个元素出现的次数

>>阅读原文<<