MySQL当批量插入赶上惟一索引

1、 背景

之前使用SQL Server进行表分区的时候就碰到不少关于惟一索引的问题：Step8：SQL Server 当表分区赶上惟一约束，没想到在MySQL的分区中同样会遇到这样的问题：MySQL表分区实战。

今天咱们来了解MySQL惟一索引的一些知识：包括如何建立，如何批量插入，还有一些技巧上SQL；

这些问题的根源在什么地方？有什么共同点？MySQL中也有分区对齐的概念？惟一索引是在不少系统中都会出现的要求，有什么办法能够避免？它对性能的影响有多大？

2、过程

(一) 导入差别数据，忽略重复数据，IGNORE INTO的使用

在MySQL建立表的时候，咱们一般建立一个表的时候是以一个自增ID值做为主键，那么MySQL就会以PRIMARY KEY做为汇集索引键和主键，既然是主键，那固然是惟一的了，因此重复执行下面的插入语句会报1062错误：如Figure1所示；

-- 建立测试表 CREATE TABLE `testtable` ( `Id` INT(11) UNSIGNED NOT NULL AUTO_INCREMENT, `UserId` INT(11) DEFAULT NULL, `UserName` VARCHAR(10) DEFAULT NULL, `UserType` INT(11) DEFAULT NULL, PRIMARY KEY (`Id`) ) ENGINE=INNODB DEFAULT CHARSET=utf8; -- 插入测试数据 INSERT INTO testtable(Id,UserId,UserName,UserType) VALUES(1,101,'aa',1),(2,102,'bbb',2),(3,103,'ccc',3);

（Figure1：Duplicate entry '1' for key 'PRIMARY'）

可是在实际的生产环境中，需求每每是须要在UserId键值中设置惟一索引，今天我就以这个做为示例，进行惟一索引的测试：

-- 建立测试表1 CREATE TABLE `testtable1` ( `Id` INT(11) UNSIGNED NOT NULL AUTO_INCREMENT, `UserId` INT(11) DEFAULT NULL, `UserName` VARCHAR(10) DEFAULT NULL, `UserType` INT(11) DEFAULT NULL, PRIMARY KEY (`Id`), UNIQUE KEY `IX_UserId` (`UserId`) ) ENGINE=INNODB DEFAULT CHARSET=utf8; -- 建立测试表2 CREATE TABLE `testtable2` ( `Id` INT(11) UNSIGNED NOT NULL AUTO_INCREMENT, `UserId` INT(11) DEFAULT NULL, `UserName` VARCHAR(10) DEFAULT NULL, `UserType` INT(11) DEFAULT NULL, PRIMARY KEY (`Id`), UNIQUE KEY `IX_UserId` (`UserId`) ) ENGINE=INNODB DEFAULT CHARSET=utf8; -- 插入测试数据1 INSERT INTO testtable1(Id,UserId,UserName,UserType) VALUES(1,101,'aa',1),(2,102,'bbb',2),(3,103,'ccc',3); -- 插入测试数据2 INSERT INTO testtable2(Id,UserId,UserName,UserType) VALUES(1,201,'aaa',1),(2,202,'bbb',2),(3,203,'ccc',3),(4,101,'xxxx',5);

（Figure2：testtable1记录）

（Figure3：testtable2记录）

经过执行上面的SQL脚本，咱们在testtable1和testtable2都建立了惟一索引：UNIQUE KEY `IX_UserId` (`UserId`)，这就说明UserId在testtable1和testtable2表中都是惟一的，若是把testtable2的数据批量导入到 testtable1，若是执行下面【导入1】的SQL，就会出现1062的错误，致使整个过程会回滚，没有达到导入差别数据的目的。

-- 导入1 INSERT INTO testtable1(UserId,UserName,UserType) SELECT UserId,UserName,UserType FROM testtable2;

（Figure4：Duplicate entry '101' for key 'IX_UserId'）

MySQL提供一个关键字：IGNORE，这个关键字判断每条记录是否存在，是否违反饿了表中的惟一索引，若是存在就不插入，而不存在的记录就会插入。

-- 导入2 INSERT IGNORE INTO testtable1(UserId,UserName,UserType) SELECT UserId,UserName,UserType FROM testtable2;

因此执行完【导入2】，就会产生Figure5的结果，这已经达到了咱们的目的了，可是你有没发现自增的ID值跳过了一些值，这是由于咱们以前执行 【导入1】失败形成的，虽然咱们的事务回滚了，可是自增ID会出现断层。在SQL Server中也会有这样的问题。扩展阅读：简单实用SQL脚本Part：查找SQL Server 自增ID值不连续记录

（Figure5：IGNORE效果）

(二) 导入并覆盖重复数据，REPLACE INTO 的使用

1. 把testtable1和testtable2分别回滚到Figure2和Figure3的状态（使用TRUNCATE TABLE命名再执行Insert语句），这个时候再执行下面的SQL，看有什么效果：

-- 导入3 REPLACE INTO testtable1(UserId,UserName) SELECT UserId,UserName FROM testtable2;

（Figure6：REPLACE效果）

从上图Figure6中，咱们能够看到：UserId为101的记录发生了改变，不单UserName修改了，并且UserType也变为NULL了。

因此，若是导入中发现了重复的，先删除再插入，若是记录有多个字段，在插入的时候若是有的字段没有赋值，那么新插入的记录这些字段为空（新插入记录的UserType都为NULL）。

须要注意的是，当你replace的时候，若是被插入的表若是没有指定列，会用NULL表示，而不是这个表原来的内容。若是插入的内容列和被插入的表列同样，则不会出现NULL。

2. 若是咱们表结构UserType字段不容许为空，并且没有默认值的状况，执行【导入3】会发生什么事情呢？

（Figure7：返回警告信息）

（Figure8：UserType被设置为0）

经过Figure7和Figure8，咱们知道数据记录仍是插入了，只是返回Field 'UserType' doesn't have a default value的警告，插入记录的UserType字段都被设置为0（'UserType' 为int数据类型）。

3. 若是咱们但愿导入的时候一块儿更新UserType字段的值，这天然很简单了，使用下面的SQL脚本就能够解决：

-- 导入4 REPLACE INTO testtable1(UserId,UserName,UserType) SELECT UserId,UserName,UserType FROM testtable2;

（Figure9：一块儿更新UserType）

(三) 导入保留重复数据未指定字段，INSERT INTO ON DUPLICATE KEY UPDATE 的使用

把testtable1和testtable2分别回滚到Figure2和Figure3的状态（使用TRUNCATE TABLE命名再执行Insert语句），这个时候再执行下面的SQL，看有什么效果：

-- 导入5 INSERT INTO testtable1(UserId,UserName) SELECT UserId,UserName FROM testtable2 ON DUPLICATE KEY UPDATE testtable1.UserName = testtable2.UserName;

（Figure10：保留UserType值）

对比Figure二、Figure3与Figure10，UserId为101的记录：更新了UserName的值，保留了UserType的值；可是因为【导入5】中没有指定UserType，因此新插入记录的UserType是为NULL的。

-- 导入6 INSERT INTO testtable1(UserId,UserName,UserType) SELECT UserId,UserName,UserType FROM testtable2 ON DUPLICATE KEY UPDATE testtable1.UserName = testtable2.UserName;

（Figure11：保留UserType值）

对比Figure二、Figure3与Figure11，只插入testtable2表的UserId,UserName字段，可是保留 testtable1表的UserType字段。若是发现有重复的记录，作更新操做；在原有记录基础上，更新指定字段内容，其它字段内容保留。

(四) 总结

当在一个UNIQUE键上插入包含重复值的记录时，默认的insert会报1062错误，MYSQL能够经过以上三种不一样的方式和你的业务逻辑进行处理。