基于Bloom-Filter算法和内存数据库的大量数据轻量级100%排重方案

整体模块：一次排重模块（基于布隆算法） + 二次排重方案（基于内存数据库）算法 一次排重数据库 //哈希函数，返回类型为int型 //int型数的总数量[4294967296] （范围大约在正负21亿） //int类型4个字节，32bits //排重标志数组的总长度[4294967296/(4*8)=134217728] //数组过长，编译器编译错误 //拆分红二维数组 //综合考虑空间占用和哈希

>>阅读原文<<