【Big Data 每日一题20181112】大量数据去重：Bitmap和布隆过滤器(Bloom Filter)

5TB的硬盘上放满了数据，请写一个算法将这些数据进行排重。若是这些数据是一些32bit大小的数据该如何解决？若是是64bit的呢？java 在面试时遇到的问题，问题的解决方案十分典型，但对于海量数据处理接触少的同窗可能一时也想不到什么好方案。介绍两个算法，对于空间的利用到达了一种极致，那就是Bitmap和布隆过滤器(Bloom Filter)。面试 Bitmap算法 在网上并无找到Bitmap算法

>>阅读原文<<