大数据去重方案

数据库中有有一张表专门存储用户的维度数据，因为随着时间的推移，用户的维度数据也可能发生变化，故每一次查看都会保存一次记录。
如今须要对数据按用户分析，但当中有大量的重复数据，仅用数据库的等值去重明显不可行。

对数据内容求MD5值

    MD5值的特色：
    1.压缩性：任意长度的数据，算出的MD5值长度都是固定的。
    2.容易计算：从原数据计算出MD5值很容易。
    3.抗修改性：对原数据进行任何改动，哪怕只修改1个字节，所获得的MD5值都有很大区别。
    4.强抗碰撞：已知原数据和其MD5值，想找到一个具备相同MD5值的数据（即伪造数据）是很是困难的。

根据MD5值的特色，对每条记录的维度数据内容计算MD5值，而后根据MD5值判断重复记录。

对数据入库以后利用sql直接查出重复数据，而后将重复数据移除或者标记。

至少在现阶段内存和CPU的执行效率在固定时间内是有限的，大量的数据的查重和去重处理不可能同时在内存中进行。就像外部排序算法和内部排序算法差异很大，遇到此类大量数据查重问题对算法进行设计是有必要的。

布隆过滤器

布隆过滤器是一种采用hash法进行查重的工具。它将每一条数据进行n次独立的hash处理，每次处理获得一个整数，总共获得n个整数。使用一个很长的数组表示不一样的整数，每一次插入操做把这n个整数对应的位置的0设置为1（若是已经被设置为1则不变）。下次查找的时候通过一样的计算，若是这几个位置都是1则说明已经存在。

布隆过滤器的优势是使用方便，由于并不将key存放进内存因此十分节省空间，多个hash算法无关，能够并发执行效率高。缺点也是显而易见的，这种算法是可能出现错误，有误判率这种概念。经过hash的次数咱们能够下降误判率，可是不能保证没有误判的状况。

BitMap

好比有2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。

一个数字的状态只有三种，分别为不存在，只有一个，有重复。所以，咱们只须要2bits就能够对一个数字的状态进行存储了，假设咱们设定一个数字不存在为00，存在一次01，存在两次及其以上为11。那咱们大概须要存储空间几十兆左右。接下来的任务就是遍历一次这2.5亿个数字，若是对应的状态位为00，则将其变为01；若是对应的状态位为01，则将其变为11；若是为11，,对应的转态位保持不变。

最后，咱们将状态位为01的进行统计，就获得了不重复的数字个数，时间复杂度为O(n)。

hash分组

若是有两份50G的数据，要查重，内存4G，怎么查？

想法是先将50G的数据分别作hash%1000，分红1000个文件，理论上hash作得好那么这1000个文件的大小是差很少接近的。若是有重复，那么A和B的重复数据必定在相对同一个文件内，由于hash结果是同样的。将1000个文件分别加载进来，一一比对是否有hash重复。这种想法是先把全部数据按照相关性进行分组，相关的数据会处于一样或者接近的位置中，再将小文件进行对比。

有1千万条短信，找出重复出现最多的前10条？

能够用哈希表的方法对1千万条分红若干组进行边扫描边建散列表。第一次扫描，取首字节，尾字节，中间随便两字节做为Hash Code，插入到hash table中。并记录其地址和信息长度和重复次数，1千万条信息，记录这几个信息还放得下。同Hash Code且等长就疑似相同，比较一下。相同记录只加1次进hash table，但将重复次数加1。一次扫描之后，已经记录各自的重复次数，进行第二次hash table的处理。用线性时间选择可在O（n）的级别上完成前10条的寻找。分组后每份中的top10必须保证各不相同，可hash来保证，也可直接按hash值的大小来分类。

使用数据库创建关键字段（一个或者多个）创建索引进行去重

根据url地址进行去重：

使用场景：url地址对应的数据不会变的状况，url地址可以惟一判别一条数据的状况

思路：

　　url存在Redis中

　　拿到url地址，判断url在Redis的集合中是否存在

　　　　存在：说明url地址已经被请求过了，不在请求

　　　　不存在：说明url地址没有被请求过，请求，把该url地址存入Redis的集合中

布隆过滤器：

　　使用多个加密算法加密url地址，获得多个值

　　往对应值的位置把结果设置为1

　　新来的一个url地址，同样经过加密算法生成多个值

　　　　若是对应位置的值全为1，说明这个url地址已经被抓取过了

　　　　不然没有被抓取过，就把对应的位置的值设置为1

根据数据自己进行去重：

　　选择特定的字段（可以惟一标识数据的字段），使用加密算法（MD5，sha1）将字段进行加密，生成字符串，存入Redis的集合中

　　后续新来一条数据，一样的方式进行加密，

　　　　若是获得的字符串在Redis中存在，说明数据存在，对数据进行更新，

　　　　不然说明数据不存在，对数据进行插入。