mysql 如何提升批量导入的速度

mysql 如何提升批量导入的速度

最近一个项目测试，有几个mysql数据库的表数据记录达到了几十万条，在搭建测试环境 导入 测试数据时，十分慢。
在网上搜索了一下，有下面一些方法能够加快
mysql数据库导入数据的速度：
0. 最快的固然是直接 copy 数据库表的数据文件（版本和平台最好要相同或类似）；
1. 设置 innodb_flush_log_at_trx_commit = 0 ，相对于 innodb_flush_log_at_trx_commit = 1 能够十分明显的提高导入速度；
2. 使用 load data local infile 提速明显；
3. 修改参数 bulk_insert_buffer_size， 调大批量插入的缓存；
4. 合并多条 insert 为一条: insert into t values(a,b,c),  (d,e,f) ,,,
5. 手动使用事物；


下面是UC的一篇相关博客文章：
http://tech.uc.cn/?p=634
MySQL批量SQL插入性能优化
对于一些数据量较大的系统，数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，天天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。所以，优化数据库插入性能是颇有意义的。

通过对MySQL innodb的一些性能测试，发现一些能够提升insert效率的方法，供你们参考参考。

1. 一条SQL语句插入多条数据。
经常使用的插入语句如：
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0); 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('1', 'userid_1', 'content_1', 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('0', 'userid_0', 'content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('1', 'userid_1', 'content_1', 1);

修改为：
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0), ('1', 'userid_1', 'content_1', 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0), ('1', 'userid_1', 'content_1', 1);

修改后的插入操做可以提升程序的插入效率。这里第二种SQL执行效率高的主要缘由是合并后日志量（MySQL的binlog和innodb的事务让日志） 减小了，下降日志刷盘的数据量和频率，从而提升效率。经过合并SQL语句，同时也能减小SQL语句解析的次数，减小网络传输的IO。
这里提供一些测试对比数据，分别是进行单条数据的导入与转化成一条SQL语句进行导入，分别测试1百、1千、1万条数据记录。

 

 

2. 在事务中进行插入处理。
把插入修改为：
START TRANSACTION; 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
VALUES ('0', 'userid_0', 'content_0', 0); 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
VALUES ('1', 'userid_1', 'content_1', 1); 
... 
COMMIT;

START TRANSACTION;
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)    
VALUES ('0', 'userid_0', 'content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)   
VALUES ('1', 'userid_1', 'content_1', 1);
...COMMIT;

使用事务能够提升数据的插入效率，这是由于进行一个INSERT操做时，MySQL内部会创建一个事务，在事务内才进行真正插入处理操做。经过使用事务能够减小建立事务的消耗，全部插入都在执行后才进行提交操做。
这里也提供了测试对比，分别是不使用事务与使用事务在记录数为1百、1千、1万的状况。

 

3. 数据有序插入。
数据有序的插入是指插入记录在主键上是有序排列，例如datetime是记录的主键：
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('1', 'userid_1', 'content_1', 1); 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0); 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('2', 'userid_2', 'content_2',2);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('1', 'userid_1', 'content_1', 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('0', 'userid_0', 'content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('2', 'userid_2', 'content_2',2);

修改为：
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('0', 'userid_0', 'content_0', 0); 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('1', 'userid_1', 'content_1', 1); 
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES ('2', 'userid_2', 'content_2',2);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('0', 'userid_0', 'content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('1', 'userid_1', 'content_1', 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)  VALUES ('2', 'userid_2', 'content_2',2);

因为数据库插入时，须要维护索引数据，无序的记录会增大维护索引的成本。咱们能够参照innodb使用的B+tree索引，若是每次插入记录都在索引的最 后面，索引的定位效率很高，而且对索引调整较小；若是插入的记录在索引中间，须要B+tree进行分裂合并等处理，会消耗比较多计算资源，而且插入记录的 索引定位效率会降低，数据量较大时会有频繁的磁盘操做。
下面提供随机数据与顺序数据的性能对比，分别是记录为1百、1千、1万、10万、100万。

从测试结果来看，该优化方法的性能有所提升，可是提升并非很明显。

 

性能综合测试：
这里提供了同时使用上面三种方法进行INSERT效率优化的测试。

从测试结果能够看到，合并数据+事务的方法在较小数据量时，性能提升是很明显的，数据量较大时（1千万以上），性能会急剧降低，这是因为此时数据量超过了 innodb_buffer的容量，每次定位索引涉及较多的磁盘读写操做，性能降低较快。而使用合并数据+事务+有序数据的方式在数据量达到千万级以上表 现依旧是良好，在数据量较大时，有序数据索引定位较为方便，不须要频繁对磁盘进行读写操做，因此能够维持较高的性能。

 

注意事项：
1. SQL语句是有长度限制，在进行数据合并在同一SQL中务必不能超过SQL长度限制，经过max_allowed_packet配置能够修改，默认是1M，测试时修改成8M。
2. 事务须要控制大小，事务太大可能会影响执行的效率。MySQL有innodb_log_buffer_size配置项，超过这个值会把innodb的数据刷到磁盘中，这时，效率会有所降低。因此比较好的作法是，在数据达到这个这个值前进行事务提交。

 

30多条mysql数据库优化方法,千万级数据库记录查询轻松解决

1.对查询进行优化，应尽可能避免全表扫描，首先应考虑在 where 及 order by 涉及的列上创建索引。

2.应尽可能避免在 where 子句中对字段进行 null 值判断，不然将致使引擎放弃使用索引而进行全表扫描，

Sql 代码 : select id from t where num is null;

能够在 num 上设置默认值 0,确保表中 num 列没有 null 值，而后这样查询：

Sql 代码 : select id from t where num=0;

3.应尽可能避免在 where 子句中使用!=或<>操做符，不然将引擎放弃使用索引而进行全表扫描。

4.应尽可能避免在 where 子句中使用 or 来链接条件，不然将致使引擎放弃使用索引而进行全表扫描，

Sql 代码 : select id from t where num=10 or num=20;

能够这样查询：

Sql 代码 : select id from t where num=10 union all select id from t where num=20;

5.in 和 not in 也要慎用，不然会致使全表扫描，如：

Sql 代码 : select id from t where num in(1,2,3);

对于连续的数值，能用 between 就不要用 in 了：

Sql 代码 : select id from t where num between 1 and 3;

6.下面的查询也将致使全表扫描：

Sql 代码 : select id from t where name like '%c%';

若要提升效率，能够考虑全文检索。

7.若是在 where 子句中使用参数，也会致使全表扫描。由于 SQL 只有在运行时才会解析局部变量，但优 化程序不能将访问计划的选择推迟到运行时;它必须在编译时进行选择。然 而，若是在编译时创建访问计 划，变量的值仍是未知的，于是没法做为索引选择的输入项。以下面语句将进行全表扫描：

Sql 代码 : select id from t where num=@num ;

能够改成强制查询使用索引：

Sql 代码 : select id from t with(index(索引名)) where num=@num ;

8.应尽可能避免在 where 子句中对字段进行表达式操做， 这将致使引擎放弃使用索引而进行全表扫描。

Sql 代码 : select id from t where num/2=100;

能够这样查询：

Sql 代码 : select id from t where num=100*2;

9.应尽可能避免在 where 子句中对字段进行函数操做，这将致使引擎放弃使用索引而进行全表扫描。如：

Sql 代码 : select id from t where substring(name,1,3)='abc';#name 以 abc 开头的 id

应改成：

Sql 代码 : select id from t where name like 'abc%';

10.不要在 where 子句中的“=”左边进行函数、算术运算或其余表达式运算，不然系统将可能没法正确使用 索引。

11.在使用索引字段做为条件时，若是该索引是复合索引，那么必须使用到该索引中的第一个字段做为条件 时才能保证系统使用该索引， 不然该索引将不会 被使用， 而且应尽量的让字段顺序与索引顺序相一致。

12.不要写一些没有意义的查询，如须要生成一个空表结构：

Sql 代码 : select col1,col2 into #t from t where 1=0;

这类代码不会返回任何结果集，可是会消耗系统资源的，应改为这样：

Sql 代码 : create table #t(…);

13.不少时候用 exists 代替 in 是一个好的选择：

Sql 代码 : select num from a where num in(select num from b);

用下面的语句替换：

Sql 代码 : select num from a where exists(select 1 from b where num=a.num);

14.并非全部索引对查询都有效，SQL 是根据表中数据来进行查询优化的，当索引列有大量数据重复时， SQL 查询可能不会去利用索引，如一表中有字段 ***,male、female 几乎各一半，那么即便在 *** 上建 了索引也对查询效率起不了做用。

15.索引并非越多越好，索引当然能够提升相应的 select 的效率，但同时也下降了 insert 及 update 的效率，由于 insert 或 update 时有可能会重建索引，因此怎样建索引须要慎重考虑，视具体状况而定。一个表的索引数最好不要超过 6 个，若太多则应考虑一些不常使用到的列上建的索引是否有必要。

16.应尽量的避免更新 clustered 索引数据列， 由于 clustered 索引数据列的顺序就是表记录的物理存储顺序，一旦该列值改变将致使整个表记录的顺序的调整，会耗费至关大的资源。若应用系统须要频繁更新 clustered 索引数据列，那么须要考虑是否应将该索引建为 clustered 索引。

17.尽可能使用数字型字段，若只含数值信息的字段尽可能不要设计为字符型，这会下降查询和链接的性能，并 会增长存储开销。这是由于引擎在处理查询和链接时会逐个比较字符串中每个字符，而对于数字型而言 只须要比较一次就够了。

18.尽量的使用 varchar/nvarchar 代替 char/nchar , 由于首先变长字段存储空间小， 能够节省存储空间， 其次对于查询来讲，在一个相对较小的字段内搜索效率显然要高些。

19.任何地方都不要使用 select * from t ,用具体的字段列表代替“*”,不要返回用不到的任何字段。

20.尽可能使用表变量来代替临时表。若是表变量包含大量数据，请注意索引很是有限(只有主键索引)。

21.避免频繁建立和删除临时表，以减小系统表资源的消耗。

22.临时表并非不可以使用，适当地使用它们可使某些例程更有效，例如，当须要重复引用大型表或经常使用 表中的某个数据集时。可是，对于一次性事件， 最好使用导出表。

23.在新建临时表时，若是一次性插入数据量很大，那么可使用 select into 代替 create table,避免形成大量 log ,以提升速度;若是数据量不大，为了缓和系统表的资源，应先 create table,而后 insert.

24.若是使用到了临时表， 在存储过程的最后务必将全部的临时表显式删除， 先 truncate table ,而后 drop table ,这样能够避免系统表的较长时间锁定。

25.尽可能避免使用游标，由于游标的效率较差，若是游标操做的数据超过 1 万行，那么就应该考虑改写。

26.使用基于游标的方法或临时表方法以前，应先寻找基于集的解决方案来解决问题，基于集的方法一般更 有效。

27.与临时表同样，游标并非不可以使用。对小型数据集使用 FAST_FORWARD 游标一般要优于其余逐行处理方法，尤为是在必须引用几个表才能得到所需的数据时。在结果集中包括“合计”的例程一般要比使用游标执行的速度快。若是开发时间容许，基于游标的方法和基于集的方法均可以尝试一下，看哪种方法的效果更好。

28.在全部的存储过程和触发器的开始处设置 SET NOCOUNT ON ,在结束时设置 SET NOCOUNT OFF .无需在执行存储过程和触发器的每一个语句后向客户端发送 DONE_IN_PROC 消息。

29.尽可能避免大事务操做，提升系统并发能力。 sql 优化方法使用索引来更快地遍历表。 缺省状况下创建的索引是非群集索引，但有时它并非最佳的。在非群集索引下，数据在物理上随机存放在数据页上。合理的索引设计要创建在对各类查询的分析和预测上。通常来讲：

a.有大量重复值、且常常有范围查询( > ,< ,> =,< =)和 order by、group by 发生的列，可考虑创建集群索引;

b.常常同时存取多列，且每列都含有重复值可考虑创建组合索引;

c.组合索引要尽可能使关键查询造成索引覆盖，其前导列必定是使用最频繁的列。索引虽有助于提升性能但 不是索引越多越好，刚好相反过多的索引会致使系统低效。用户在表中每加进一个索引，维护索引集合就 要作相应的更新工做。

30.按期分析表和检查表。

分析表的语法：ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tb1_name[, tbl_name]...

以上语句用于分析和存储表的关键字分布，分析的结果将可使得系统获得准确的统计信息，使得SQL可以生成正确的执行计划。若是用户感受实际执行计划并非预期的执行计划，执行一次分析表可能会解决问题。在分析期间，使用一个读取锁定对表进行锁定。这对于MyISAM，DBD和InnoDB表有做用。

例如分析一个数据表：analyze table table_name

检查表的语法：CHECK TABLE tb1_name[,tbl_name]...[option]...option = {QUICK | FAST | MEDIUM | EXTENDED | CHANGED}

检查表的做用是检查一个或多个表是否有错误，CHECK TABLE 对MyISAM 和 InnoDB表有做用，对于MyISAM表，关键字统计数据被更新

CHECK TABLE 也能够检查视图是否有错误，好比在视图定义中被引用的表不存在。

31.按期优化表。

优化表的语法：OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tb1_name [,tbl_name]...

若是删除了表的一大部分，或者若是已经对含有可变长度行的表(含有 VARCHAR、BLOB或TEXT列的表)进行更多更改，则应使用OPTIMIZE TABLE命令来进行表优化。这个命令能够将表中的空间碎片进行合并，而且能够消除因为删除或者更新形成的空间浪费，但OPTIMIZE TABLE 命令只对MyISAM、 BDB 和InnoDB表起做用。

例如： optimize table table_name

注意： analyze、check、optimize执行期间将对表进行锁定，所以必定注意要在MySQL数据库不繁忙的时候执行相关的操做。

补充：

一、在海量查询时尽可能少用格式转换。

二、ORDER BY 和 GROPU BY:使用 ORDER BY 和 GROUP BY 短语，任何一种索引都有助于 SELECT 的性能提升。

三、任何对列的操做都将致使表扫描，它包括数据库教程函数、计算表达式等等，查询时要尽量将操做移 至等号右边。

四、IN、OR 子句常会使用工做表，使索引失效。若是不产生大量重复值，能够考虑把子句拆开。拆开的子 句中应该包含索引。

五、只要能知足你的需求，应尽量使用更小的数据类型：例如使用 MEDIUMINT 代替 INT

六、尽可能把全部的列设置为 NOT NULL,若是你要保存 NULL,手动去设置它，而不是把它设为默认值。

七、尽可能少用 VARCHAR、TEXT、BLOB 类型

八、若是你的数据只有你所知的少许的几个。最好使用 ENUM 类型

九、正如 graymice 所讲的那样，创建索引。

十、合理用运分表与分区表提升数据存放和提取速度。