spark 布隆过滤器(bloomFilter)

        数据过滤在不少场景都会应用到，特别是在大数据环境下。在数据量很大的场景实现过滤或者全局去重，须要存储的数据量和计算代价是很是庞大的。不少小伙伴第一念头确定会想到布隆过滤器，有必定的精度损失，可是存储性能和计算性能能够达到几何级别的提高。不少第三方框架也实现了相应的功能，好比hbase框架实现的布隆过滤器性能是很是的棒，redis也能够实现相应的功能。这些须要借助于第三方框架，须要维

>>阅读原文<<