Mongodb 删除重复数据的几个方法

Mongodb 删除重复的数据 最近在处理一些专利数据，从专利局爬数据的时候，总会间隙性出现中断，为了保证数据的完整性就进行了一些重复下载。将数据从几万个Excel表格中导入Mongodb后，第一步就是要去掉重复的数据。个人第一反应是写个Python小脚本，结果在执行的时候，因为数据量确实比较大，有十几万条，执行了半个小时仍不见结束。这时候才想着使用数据库的查询命令是否是能够实现去重复的功能。简单

>>阅读原文<<