Mysql插入数据去重方法

最近写爬虫，有需求需要将数据插入mysql，由于爬虫采用分布式，可能会多次爬重复页，这时候就需要对数据去重 假设： 表：test 含 id，a，b    （3个字段） 主键id自增。 1.根据单个字段去重 以navicat为例，右键设计表-》索引，选择字段加上unique即可。 输入插入语句： INSERT into test(a,b) VALUES('a','b') 再次运行：（会报出一个错：D

>>阅读原文<<