开发中经常使用的MySQL优化技巧

时间 2020-06-06

标签开发中经常使用的 mysql 优化技巧栏目 MySQL 繁體版

原文原文链接

人生有六个字，前面三个是“不惧怕”，后面还有三个是“不后悔”，无论怎样，努力去作吧。mysql

一、大批量插入数据优化

（1）对于MyISAM存储引擎的表，可使用：DISABLE KEYS 和 ENABLE KEYS 用来打开或者关闭 MyISAM 表非惟一索引的更新。面试

ALTERTABLE tbl_name DISABLEKEYS;  
loading the data  
ALTERTABLE tbl_name ENABLEKEYS;

（2）对于InnoDB引擎，有如下几种优化措施：sql

① 导入的数据按照主键的顺序保存：这是由于InnoDB引擎表示按照主键顺序保存的，若是能将插入的数据提早按照排序好天然能省去不少时间。数据库

好比bulk_insert.txt文件是以表user主键的顺序存储的，导入的时间为15.23秒微信

mysql> load data infile 'mysql/bulk_insert.txt' into table user;  
Query OK, 126732 rows affected (15.23 sec)  
Records: 126732 Deleted: 0 Skipped: 0 Warnings: 0

没有按照主键排序的话，时间为：26.54秒工具

mysql> load data infile 'mysql/bulk_insert.txt' into table user;  
Query OK, 126732 rows affected (26.54 sec)  
Records: 126732 Deleted: 0 Skipped: 0 Warnings: 0

② 导入数据前执行SET UNIQUE_CHECKS=0，关闭惟一性校验，带导入以后再打开设置为1：校验会消耗时间，在数据量大的状况下须要考虑。性能

③ 导入前设置SET AUTOCOMMIT=0，关闭自动提交，导入后结束再设置为1：这是由于自动提交会消耗部分时间与资源，虽然消耗不是很大，可是在数据量大的状况下仍是得考虑。测试

二、INSERT的优化

（1）尽可能使用多个值表的 INSERT 语句，这种方式将大大缩减客户端与数据库之间的链接、关闭等消耗。（同一客户的状况下），即：优化

INSERTINTO tablename values(1,2),(1,3),(1,4)

实验：插入8条数据到user表中（使用navicat客户端工具）ui

insert into user values(1,'test',replace(uuid(),'-',''));  
insert into user values(2,'test',replace(uuid(),'-',''));  
insert into user values(3,'test',replace(uuid(),'-',''));  
insert into user values(4,'test',replace(uuid(),'-',''));  
insert into user values(5,'test',replace(uuid(),'-',''));  
insert into user values(6,'test',replace(uuid(),'-',''));  
insert into user values(7,'test',replace(uuid(),'-',''));  
insert into user  values(8,'test',replace(uuid(),'-',''));

获得反馈：

[SQL] insert into user values(1,'test',replace(uuid(),'-',''));  
受影响的行: 1  
时间: 0.033s  
[SQL]   
insert into user values(2,'test',replace(uuid(),'-',''));  
受影响的行: 1  
时间: 0.034s  
[SQL]   
insert into user values(3,'test',replace(uuid(),'-',''));  
受影响的行: 1  
时间: 0.056s  
[SQL]   
insert into user values(4,'test',replace(uuid(),'-',''));  
受影响的行: 1  
时间: 0.008s  
[SQL]   
insert into user values(5,'test',replace(uuid(),'-',''));  
受影响的行: 1  
时间: 0.008s  
[SQL]   
insert into user values(6,'test',replace(uuid(),'-',''));  
受影响的行: 1  
时间: 0.024s  
[SQL]   
insert into user values(7,'test',replace(uuid(),'-',''));  
受影响的行: 1  
时间: 0.004s  
[SQL]   
insert into user values(8,'test',replace(uuid(),'-',''));  
受影响的行: 1  
时间: 0.004s

总共的时间为0.171秒，接下来使用多值表形式：

insert into user values  
(9,'test',replace(uuid(),'-','')),  
(10,'test',replace(uuid(),'-','')),  
(11,'test',replace(uuid(),'-','')),  
(12,'test',replace(uuid(),'-','')),  
(13,'test',replace(uuid(),'-','')),  
(14,'test',replace(uuid(),'-','')),  
(15,'test',replace(uuid(),'-','')),  
(16,'test',replace(uuid(),'-',''));

获得反馈：

[SQL] insert into user values  
(9,'test',replace(uuid(),'-','')),  
(10,'test',replace(uuid(),'-','')),  
(11,'test',replace(uuid(),'-','')),  
(12,'test',replace(uuid(),'-','')),  
(13,'test',replace(uuid(),'-','')),  
(14,'test',replace(uuid(),'-','')),  
(15,'test',replace(uuid(),'-','')),  
(16,'test',replace(uuid(),'-',''));  
受影响的行: 8  
时间: 0.038s

获得时间为0.038，这样一来能够很明显节约时间优化SQL

（2）若是在不一样客户端插入不少行，可以使用INSERT DELAYED语句获得更高的速度，DELLAYED含义是让INSERT语句立刻执行，其实数据都被放在内存的队列中。并无真正写入磁盘。LOW_PRIORITY恰好相反。

（3）将索引文件和数据文件分在不一样的磁盘上存放（InnoDB引擎是在同一个表空间的）。

（4）若是批量插入，则能够增长bluk_insert_buffer_size变量值提供速度（只对MyISAM有用）

（5）当从一个文本文件装载一个表时，使用LOAD DATA INFILE，一般比INSERT语句快20倍。

三、GROUP BY的优化

在默认状况下，MySQL中的GROUP BY语句会对其后出现的字段进行默认排序（非主键状况），就比如咱们使用ORDER BY col1,col2,col3…因此咱们在后面跟上具备相同列（与GROUP BY后出现的col1,col2,col3…相同）ORDER BY子句并无影响该SQL的实际执行性能。

那么就会有这样的状况出现，咱们对查询到的结果是否已经排序不在意时，可使用ORDER BY NULL禁止排序达到优化目的。下面使用EXPLAIN命令分析SQL。Java知音公众号内回复“面试题聚合”，送你一份面试题宝典

在user_1中执行select id, sum(money) form user_1 group by name时，会默认排序（注意group by后的column是非index才会体现group by的排序，若是是primary key，那以前说过了InnoDB默认是按照主键index排好序的）

mysql> select*from user_1;  
+----+----------+-------+  
| id | name     | money |  
+----+----------+-------+  
|  1 | Zhangsan |    32 |  
|  2 | Lisi     |    65 |  
|  3 | Wangwu   |    44 |  
|  4 | Lijian   |   100 |  
+----+----------+-------+  
4 rows in set

不由止排序，即不使用ORDER BY NULL时：有明显的Using filesort。

当使用ORDER BY NULL禁止排序后，Using filesort不存在

四、ORDER BY 的优化　　

MySQL可使用一个索引来知足ORDER BY 子句的排序，而不须要额外的排序，可是须要知足如下几个条件：
（1）WHERE 条件和OREDR BY 使用相同的索引：即key_part1与key_part2是复合索引，where中使用复合索引中的key_part1

SELECT*FROM user WHERE key_part1=1 ORDER BY key_part1 DESC, key_part2 DESC;

（2）并且ORDER BY顺序和索引顺序相同：

SELECT*FROM user ORDER BY key_part1, key_part2;

（3）而且要么都是升序要么都是降序：

SELECT*FROM user ORDER BY key_part1 DESC, key_part2 DESC;

但如下几种状况则不使用索引：
（1）ORDER BY中混合ASC和DESC：

SELECT*FROM user ORDER BY key_part1 DESC, key_part2 ASC;

（2）查询行的关键字与ORDER BY所使用的不相同，即WHERE 后的字段与ORDER BY 后的字段是不同的

SELECT*FROM user WHERE key2 = ‘xxx’ ORDER BY key1;

（3）ORDER BY对不一样的关键字使用，即ORDER BY后的关键字不相同

SELECT*FROM user ORDER BY key1, key2;

五、OR的优化

当MySQL使用OR查询时，若是要利用索引的话，必须每一个条件列都使独立索引，而不是复合索引（多列索引），才能保证使用到查询的时候使用到索引。

好比咱们新建一张用户信息表user_info

mysql> select*from user_info;  
+---------+--------+----------+-----------+  
| user_id | idcard | name     | address   |  
+---------+--------+----------+-----------+  
|1        | 111111 | Zhangsan | Kunming   |  
|2        |222222  | Lisi     | Beijing   |  
|3        |333333  | Wangwu   | Shanghai  |  
|       4 |444444  | Lijian   | Guangzhou |  
+---------+--------+----------+-----------+  
4 rows in set

测试一：OR链接两个有单独索引的字段，整个SQL查询才会用到索引(index_merge)，而且咱们知道OR其实是把每一个结果最后UNION一块儿的。

mysql> explain select*from user_info where user_id=1or idcard='222222';  
+----+-------------+-----------+------------+-------------
|id|select_type|   table   |partitions|    type    |        possible_keys        |         key         |key_len|  ref  | rows | filtered | Extra                                              |  
|1 | SIMPLE    | user_info | NULL     | index_merge|PRIMARY,ind_name_id,id_index | ind_name_id,PRIMARY | 4,62  | NULL  |    2 |   100    | Using sort_union(ind_name_id,PRIMARY); Using where |  
1 row in set

测试二：OR使用复合索引的字段name，与没有索引的address，整个SQL都是ALL全表扫描的

mysql> explain select*from user_info where name='Zhangsan' or address='Beijing';+----+-------------+-----------+------------+------+---------------+------+---------+------+------+----------+-------------| id | select_type | table     | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra             |+----+-------------+-----------+------------+------+---------------+------+---------+------+------+----------+-------------|  1 | SIMPLE      | user_info | NULL       | ALL  | NULL          | NULL | NULL    | NULL |    4 |     43.75     | Using where |+----+-------------+-----------+------------+------+---------------+------+---------+------+------+----------+-------------+1 row in set

交换OR位置而且使用另外的复合索引的列，也是ALL全表扫描：

mysql> explain select*from user_info where address='Beijing' or user_id=1;+----+-------------+-----------+------------+------+----------------------+------+---------+------+------+----------+-------------+| id | select_type | table     | partitions | type | possible_keys        | key  | key_len | ref  | rows | filtered | Extra       |+----+-------------+-----------+------------+------+----------------------+------+---------+------+------+----------+-------------+|  1 | SIMPLE      | user_info | NULL       | ALL  | ind_name_id,id_index | NULL | NULL    | NULL |    4 |    43.75 | Using where |+----+-------------+-----------+------------+------+----------------------+------+---------+------+------+----------+-------------+1 row in set

六、优化嵌套查询

使用嵌套查询有时候可使用更有效的JOIN链接代替，这是由于MySQL中不须要在内存中建立临时表完成SELECT子查询与主查询两部分查询工做。可是并非全部的时候都成立，最好是在on关键字后面的列有索引的话，效果会更好！
好比在表major中major_id是有索引的：

select * from student u left join major m on u.major_id=m.major_id where m.major_id is null;

而经过嵌套查询时，在内存中建立临时表完成SELECT子查询与主查询两部分查询工做，会有必定的消耗

select * from student u where major_id not in (select major_id from major);

七、使用SQL提示

SQL提示（SQL HINT）是优化数据库的一个重要手段，就是往SQL语句中加入一些人为的提示来达到优化目的。下面是一些经常使用的SQL提示：
（1）USE INDEX：使用USE INDEX是但愿MySQL去参考索引列表，就可让MySQL不须要考虑其余可用索引，其实也就是possible_keys属性下参考的索引值

mysql> explain select* from user_info use index(id_index,ind_name_id) where user_id>0;+----+-------------+-----------+------------+------+----------------------+------+---------+------+------+----------+-------------+| id | select_type | table     | partitions | type | possible_keys        | key  | key_len | ref  | rows | filtered | Extra       |+----+-------------+-----------+------------+------+----------------------+------+---------+------+------+----------+-------------+|  1 | SIMPLE      | user_info | NULL       | ALL  | ind_name_id,id_index | NULL | NULL    | NULL |    4 |      100 | Using where |+----+-------------+-----------+------------+------+----------------------+------+---------+------+------+----------+-------------+1 row in setmysql> explain select* from user_info use index(id_index) where user_id>0;+----+-------------+-----------+------------+------+---------------+------+---------+------+------+----------+-------------+| id | select_type | table     | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra       |+----+-------------+-----------+------------+------+---------------+------+---------+------+------+----------+-------------+|  1 | SIMPLE      | user_info | NULL       | ALL  | id_index      | NULL | NULL    | NULL |    4 |      100 | Using where |+----+-------------+-----------+------------+------+---------------+------+---------+------+------+----------+-------------+1 row in set

（2）IGNORE INDEX忽略索引
咱们使用user_id判断，用不到其余索引时，能够忽略索引。即与USE INDEX相反，从possible_keys中减去不须要的索引，可是实际环境中不多使用。

mysql> explain select* from user_info ignore index(primary,ind_name_id,id_index) where user_id>0;+----+-------------+-----------+------------+------+---------------+------+---------+------+------+----------+-------------+| id | select_type | table     | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra       |+----+-------------+-----------+------------+------+---------------+------+---------+------+------+----------+-------------+|  1 | SIMPLE      | user_info | NULL       | ALL  | NULL          | NULL | NULL    | NULL |    4 |    33.33 | Using where |+----+-------------+-----------+------------+------+---------------+------+---------+------+------+----------+-------------+1 row in set

（3）FORCE INDEX强制索引
好比where user_id > 0，可是user_id在表中都是大于0的，天然就会进行ALL全表搜索，可是使用FORCE INDEX虽然执行效率不是最高（where user_id > 0条件决定的）但MySQL仍是使用索引。

mysql> explain select* from user_info where user_id>0;+----+-------------+-----------+------------+------+----------------------+------+---------+------+------+----------+-------------+| id | select_type | table     | partitions | type | possible_keys        | key  | key_len | ref  | rows | filtered | Extra       |+----+-------------+-----------+------------+------+----------------------+------+---------+------+------+----------+-------------+|  1 | SIMPLE      | user_info | NULL       | ALL  | ind_name_id,id_index | NULL | NULL    | NULL |    4 |      100 | Using where |+----+-------------+-----------+------------+------+----------------------+------+---------+------+------+----------+-------------+1 row in set

以后强制使用独立索引id_index(user_id)：

mysql> explain select* from user_info force index(id_index) where user_id>0;+----+-------------+-----------+------------+-------+---------------+----------+---------+------+------+----------+-----------------------+| id | select_type | table     | partitions | type  | possible_keys | key      | key_len | ref  | rows | filtered | Extra                 |+----+-------------+-----------+------------+-------+---------------+----------+---------+------+------+----------+-----------------------+|  1 | SIMPLE      | user_info | NULL       | range | id_index      | id_index | 4       | NULL |    4 |      100 | Using index condition |+----+-------------+-----------+------------+-------+---------------+----------+---------+------+------+----------+-----------------------+1 row in set

总结

（1）不少时候数据库的性能是因为不合适（是指效率不高，可能会致使锁表等）的SQL语句形成，本篇博文只是介绍简单的SQL优化（2）其中有些优化在真正开发中是用不到的，可是一旦出问题性能降低的时候须要去一一分析。