MySQL实战45讲学习笔记：第十九讲

时间 2019-11-06

原文原文链接

1、引子

通常状况下，若是我跟你说查询性能优化，你首先会想到一些复杂的语句，想到查询须要返回大量的数据。但有些状况下，“查一行”，也会执行得特别慢。今天，我就跟你聊聊
这个有趣的话题，看看什么状况下，会出现这个现象。mysql

须要说明的是，若是 MySQL 数据库自己就有很大的压力，致使数据库服务器 CPU 占用率很高或 ioutil（IO 利用率）很高，这种状况下全部语句的执行都有可能变慢，不属于我
们今天的讨论范围。sql

为了便于描述，我仍是构造一个表，基于这个表来讲明今天的问题。这个表有两个字段 id和 c，而且我在里面插入了 10 万行记录。数据库

mysql> CREATE TABLE `t` (
  `id` int(11) NOT NULL,
  `c` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB;

delimiter ;;
create procedure idata()
begin
  declare i int;
  set i=1;
  while(i<=100000) do
    insert into t values(i,i);
    set i=i+1;
  end while;
end;;
delimiter ;

call idata();

接下来，我会用几个不一样的场景来举例，有些是前面的文章中咱们已经介绍过的知识点，你看看能不能一眼看穿，来检验一下吧。缓存

2、第一类：查询长时间不返回

如图 1 所示，在表 t 执行下面的 SQL 语句：性能优化

mysql> select * from t where id=1;

查询结果长时间不返回bash

图 1 查询长时间不返回服务器

通常碰到这种状况的话，大几率是表 t 被锁住了。接下来分析缘由的时候，通常都是首先执行一下 show processlist 命令，看看当前语句处于什么状态。网络

而后咱们再针对每种状态，去分析它们产生的缘由、如何复现，以及如何处理。session

一、等 MDL 锁

如图 2 所示，就是使用 show processlist 命令查看 Waiting for table metadata lock 的示意图。函数

图 2 Waiting for table metadata lock 状态示意图

实际测试截图：

+----+-----------------+----------------------+------+---------+------+---------------------------------+----------------------------+
| Id | User            | Host                 | db   | Command | Time | State                           | Info                       |
+----+-----------------+----------------------+------+---------+------+---------------------------------+----------------------------+
|  4 | event_scheduler | localhost            | NULL | Daemon  |  184 | Waiting on empty queue          | NULL                       |
|  8 | root            | 192.168.118.85:59418 | test | Query   |  101 | Waiting for table metadata lock | select * from t where id=1 |
|  9 | root            | 192.168.118.83:65443 | test | Query   |    0 | starting                        | show processlist

出现这个状态表示的是，如今有一个线程正在表 t 上请求或者持有 MDL 写锁，把 select语句堵住了。

实际测试代码：

图 3 MySQL 5.7 中 Waiting for table metadata lock 的复现步骤

session A 经过 lock table 命令持有表 t 的 MDL 写锁，而 session B 的查询须要获取MDL 读锁。因此，session B 进入等待状态。

这类问题的处理方式，就是找到谁持有 MDL 写锁，而后把它 kill 掉。

可是，因为在 show processlist 的结果里面，session A 的 Command 列是“Sleep”，致使查找起来很不方便。不过有了 performance_schema 和 sys 系统库之后，就方便多
了。（MySQL 启动时须要设置 performance_schema=on，相比于设置为 off 会有 10%左右的性能损失)

经过查询 sys.schema_table_lock_waits 这张表，咱们就能够直接找出形成阻塞的process id，把这个链接用 kill 命令断开便可。

实际测试代码：

mysql> kill 9 ;
1317 - Query execution was interrupted

再次查看：

mysql> select * from t where id=1;
+----+------+
| id | c    |
+----+------+
|  1 |    1 |
+----+------+
1 row in set (0.00 sec)

图 4 查获加表锁的线程 id

二、等 flush

接下来，我给你举另一种查询被堵住的状况。

我在表 t 上，执行下面的 SQL 语句：

mysql> select * from information_schema.processlist where id=1;

这里，我先卖个关子。

你能够看一下图 5。我查出来这个线程的状态是 Waiting for table flush，你能够设想一下这是什么缘由。

图 5 Waiting for table flush 状态示意图

这个状态表示的是，如今有一个线程正要对表 t 作 flush 操做。MySQL 里面对表作 flush操做的用法，通常有如下两个：

flush tables t with read lock;

flush tables with read lock;

这两个 flush 语句，若是指定表 t 的话，表明的是只关闭表 t；若是没有指定具体的表名，则表示关闭 MySQL 里全部打开的表。

可是正常这两个语句执行起来都很快，除非它们也被别的线程堵住了。

因此，出现 Waiting for table flush 状态的可能状况是：有一个 flush tables 命令被别的语句堵住了，而后它又堵住了咱们的 select 语句。

如今，咱们一块儿来复现一下这种状况，复现步骤如图 6 所示：

图 6 Waiting for table flush 的复现步骤

实际测试截图：

session A

session B

session C

在 session A 中，我故意每行都调用一次 sleep(1)，这样这个语句默认要执行 10 万秒，在这期间表 t 一直是被 session A“打开”着。而后，session B 的 flush tables t 命令再
要去关闭表 t，就须要等 session A 的查询结束。这样，session C 要再次查询的话，就会被 flush 命令堵住了。

图 7 是这个复现步骤的 show processlist 结果。这个例子的排查也很简单，你看到这个show processlist 的结果，确定就知道应该怎么作了。

图 7 Waiting for table flush 的 show processlist 结果

实际测试代码：

mysql> show processlist;
+----+------+-----------------------+------+---------+------+-------------------------+----------------------------+
| Id | User | Host                  | db   | Command | Time | State                   | Info                       |
+----+------+-----------------------+------+---------+------+-------------------------+----------------------------+
|  4 | root | 192.168.118.85:58126  | test | Query   |  219 | User sleep              | select sleep(1) from t     |
|  5 | root | 192.168.118.109:40554 | test | Query   |  160 | Waiting for table flush | flush tables t             |
|  9 | root | 192.168.118.83:54220  | NULL | Sleep   |  619 |                         | NULL                       |
| 10 | root | 192.168.118.83:54221  | test | Sleep   |  402 |                         | NULL                       |
| 11 | root | 192.168.118.83:54241  | test | Sleep   |  393 |                         | NULL                       |
| 12 | root | 192.168.118.83:54310  | test | Query   |   37 | Waiting for table flush | select * from t where id=1 |
| 13 | root | 192.168.118.83:54321  | test | Query   |    0 | starting                | show processlist           |
+----+------+-----------------------+------+---------+------+-------------------------+----------------------------+
7 rows in set

三、等行锁

如今，通过了表级锁的考验，咱们的 select 语句终于来到引擎里了。

mysql> select * from t where id=1 lock in share mode;

上面这条语句的用法你也很熟悉了，咱们在第 8 篇《事务究竟是隔离的仍是不隔离的？》文章介绍当前读时提到过。

因为访问 id=1 这个记录时要加读锁，若是这时候已经有一个事务在这行记录上持有一个写锁，咱们的 select 语句就会被堵住。

复现步骤和现场以下：

图 8 行锁复现

图 9 行锁 show processlist 现场

复现截图：

session A

session B

显然，session A 启动了事务，占有写锁，还不提交，是致使 session B 被堵住的缘由。这个问题并不难分析，但问题是怎么查出是谁占着这个写锁。若是你用的是 MySQL 5.7
版本，能够经过 sys.innodb_lock_waits 表查到。

查询方法是：

mysql> select * from t sys.innodb_lock_waits where locked_table=`'test'.'t'`\G

图 10 经过 sys.innodb_lock_waits 查行锁

测试命令及截图

命令行报错

mysql> select * from t sys.innodb_lock_waits where locked_table=`'test'.'t'`\G;
1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '.innodb_lock_waits where locked_table=`'test'.'t'`\G' at line 1
mysql>

刚开始我安装的mysql8.0，说版本不对，因而我更换成5.7.19命令测试故障依旧

我经过Navicat Premium软件链接截图入下

能够看到，这个信息很全，4 号线程是形成堵塞的罪魁祸首。而干掉这个罪魁祸首的方式，就是 KILL QUERY 4 或 KILL 4

不过，这里不该该显示“KILL QUERY 4”。这个命令表示中止 4 号线程当前正在执行的语句，而这个方法实际上是没有用的。由于占有行锁的是 update 语句，这个语句已是之
前执行完成了的，如今执行 KILL QUERY，没法让这个事务去掉 id=1 上的行锁。

实际上，KILL 4 才有效，也就是说直接断开这个链接。这里隐含的一个逻辑就是，链接被断开的时候，会自动回滚这个链接里面正在执行的线程，也就释放了 id=1 上的行锁。

3、第二类：查询慢

通过了重重封“锁”，咱们再来看看一些查询慢的例子。

先来看一条你必定知道缘由的 SQL 语句：

mysql> select * from t where c=50000 limit 1;

因为字段 c 上没有索引，这个语句只能走 id 主键顺序扫描，所以须要扫描 5 万行。做为确认，你能够看一下慢查询日志。注意，这里为了把全部语句记录到 slow log 里，
我在链接后先执行了 set long_query_time=0，将慢查询日志的时间阈值设置为 0。

图 11 全表扫描 5 万行的 slow log

实际测试截图：

Rows_examined 显示扫描了 50000 行。你可能会说，不是很慢呀，11.5 毫秒就返回了，咱们线上通常都配置超过 1 秒才算慢查询。但你要记住：坏查询不必定是慢查询。我
们这个例子里面只有 10 万行记录，数据量大起来的话，执行时间就线性涨上去了。扫描行数多，因此执行慢，这个很好理解。

可是接下来，咱们再看一个只扫描一行，可是执行很慢的语句。如图 12 所示，是这个例子的 slow log。能够看到，执行的语句是

mysql> select * from t where id=1；

虽然扫描行数是 1，但执行时间却长达 800 毫秒。

图 12 扫描一行却执行得很慢

实际测试截图：

是否是有点奇怪呢，这些时间都花在哪里了？

若是我把这个 slow log 的截图再往下拉一点，你能够看到下一个语句，select * from twhere id=1 lock in share mode，执行时扫描行数也是 1 行，执行时间是 0.2 毫秒。

图 13 加上 lock in share mode 的 slow log

实际测试截图：

看上去是否是更奇怪了？按理说 lock in share mode 还要加锁，时间应该更长才对啊。可能有的同窗已经有答案了。若是你尚未答案的话，我再给你一个提示信息，图 14 是
这两个语句的执行输出结果。

图 14 两个语句的输出结果

第一个语句的查询结果里 c=1，带 lock in share mode 的语句返回的是 c=1000001。看到这里应该有更多的同窗知道缘由了。若是你仍是没有头绪的话，也别着急。我先跟你说
明一下复现步骤，再分析缘由。

图 15 复现步骤

session A 实际测试代码以下

mysql> start transaction with consistent snapshot;
Query OK, 0 rows affected (0.00 sec)

mysql> use test;
Database changed
mysql> select * from t where id=1;
+----+------+
| id | c    |
+----+------+
|  1 |    1 |
+----+------+
1 row in set (0.00 sec)

mysql> select * from t where id=1 lock in share mode;
+----+------+
| id | c    |
+----+------+
|  1 |    2 |
+----+------+
1 row in set (0.00 sec)

你看到了，session A 先用 start transaction with consistent snapshot 命令启动了一个事务，以后 session B 才开始执行 update 语句。

session A 实际测试代码以下

mysql> use test
Database changed
mysql> update t set c=c+1 where id=1;
Query OK, 1 row affected (0.01 sec)
Rows matched: 1  Changed: 1  Warnings: 0

session B 执行完 100 万次 update 语句后，id=1 这一行处于什么状态呢？你能够从图16 中找到答案。

图 16 id=1 的数据状态

session B 更新完 100 万次，生成了 100 万个回滚日志 (undo log)。

带 lock in share mode 的 SQL 语句，是当前读，所以会直接读到 1000001 这个结果，因此速度很快；而 select * from t where id=1 这个语句，是一致性读，所以须要从
1000001 开始，依次执行 undo log，执行了 100 万次之后，才将 1 这个结果返回。

注意，undo log 里记录的实际上是“把 2 改为 1”，“把 3 改为 2”这样的操做逻辑，画成减 1 的目的是方便你看图。

4、小结

今天我给你举了在一个简单的表上，执行“查一行”，可能会出现的被锁住和执行慢的例子。这其中涉及到了表锁、行锁和一致性读的概念。

在实际使用中，碰到的场景会更复杂。但大同小异，你能够按照我在文章中介绍的定位方法，来定位并解决问题。

最后，我给你留一个问题吧。

咱们在举例加锁读的时候，用的是这个语句，select * from t where id=1 lock in sharemode。因为 id 上有索引，因此能够直接定位到 id=1 这一行，所以读锁也是只加在了这一行上。

但若是是下面的 SQL 语句，

begin;
select * from t where c=5 for update;
commit;

这个语句序列是怎么加锁的呢？加的锁又是何时释放呢？

你能够把你的观点和验证方法写在留言区里，我会在下一篇文章的末尾给出个人参考答案。感谢你的收听，也欢迎你把这篇文章分享给更多的朋友一块儿阅读。

5、上期问题时间

在上一篇文章最后，我留给你的问题是，但愿你能够分享一下以前碰到过的、与文章中相似的场景。

@封建的风提到一个有趣的场景，值得一说。我把他的问题重写一下，表结构以下：

mysql> CREATE TABLE `table_a` (
  `id` int(11) NOT NULL,
  `b` varchar(10) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `b` (`b`)
) ENGINE=InnoDB;

假设如今表里面，有 100 万行数据，其中有 10 万行数据的 b 的值是’1234567890’，
假设如今执行语句是这么写的:

mysql> select * from table_a where b='1234567890abcd';

这时候，MySQL 会怎么执行呢？

最理想的状况是，MySQL 看到字段 b 定义的是 varchar(10)，那确定返回空呀。惋惜，MySQL 并无这么作

那要不，就是把’1234567890abcd’拿到索引里面去作匹配，确定也没可以快速判断出索引树 b 上并无这个值，也很快就能返回空结果。但实际上，MySQL 也不是这么作的。

这条 SQL 语句的执行很慢，流程是这样的：

1. 在传给引擎执行的时候，作了字符截断。由于引擎里面这个行只定义了长度是 10，因此只截了前 10 个字节，就是’1234567890’进去作匹配；

2. 这样知足条件的数据有 10 万行；

3. 由于是 select *，因此要作 10 万次回表；

4. 可是每次回表之后查出整行，到 server 层一判断，b 的值都不是’1234567890abcd’;

5. 返回结果是空。

这个例子，是咱们文章内容的一个很好的补充。虽然执行过程当中可能通过函数操做，可是最终在拿到结果后，server 层仍是要作一轮判断的。

6、经典留言

一、某、人

最近几张干货愈来愈多了,很实用,收获很多.先回答今天的问题
版本5.7.13

rc模式下:
session 1:
begin;
select * from t where c=5 for update;
session 2:
delete from t where c=10 --等待
session 3:
insert into t values(100001,8) --成功
session 1:
commit
session 2:事务执行成功
rr模式下:
begin;
select * from t where c=5 for update;
session 2:
delete from t where c=10 --等待
session 3:
insert into t values(100001,8) --等待
session 1:
commit
session 2:事务执行成功
session 3：事务执行成功

从上面这两个简单的例子,能够大概看出上锁的流程.
无论是rr模式仍是rc模式,这条语句都会先在server层对表加上MDL S锁,而后进入到引擎层。

rc模式下,因为数据量不大只有10W。经过实验能够证实session 1上来就把该表的全部行都锁住了。
致使其余事务要对该表的全部现有记录作更新,是阻塞状态。为何insert又能成功?
说明rc模式下for update语句没有上gap锁,因此不阻塞insert对范围加插入意向锁,因此更新成功。
session 1commit后,session 2执行成功。代表全部行的x锁是在事务提交完成之后才释放。

rr模式下,session 1和session 2与rc模式下都同样,说明rr模式下也对全部行上了X锁。
惟一的区别是insert也等待了,是由于rr模式下对没有索引的更新,聚簇索引上的全部记录，都被加上了X锁。其次，聚簇索引每条记录间的间隙(GAP)，也同时被加上了GAP锁。因为gap锁阻塞了insert要加的插入意向锁,致使insert也处于等待状态。只有当session 1 commit完成之后。session 1上的全部锁才会释放,S2,S3执行成功

因为例子中的数据量还比较小,若是数据量达到千万级别,就比较直观的能看出,上锁是逐行上锁的一个过程.扫描一条上一条,直到全部行扫描完,rc模式下对全部行上x锁。rr模式下不只对全部行上X锁,还对全部区间上gap锁.直到事务提交或者回滚完成后,上的锁才会被释放。

做者回复

做者回复: 分析得很是好。
两个模式下，各增长一个session 4 : update t set c=100 where id=10看看哦

基本就全了👍🏿

二、某、人

老师我请教一个问题:
flush tables中close table的意思是说的把open_tables里的表所有关闭掉?下次若是有关于某张表的操做
又把frm file缓存进Open_table_definitions,把表名缓存到open_tables,仍是open_table只是一个计数?
不是特别明白flush table和打开表是个什么流程

做者回复:

Flush tables是会关掉表，而后下次请求从新读表信息的

第一次打开表其实就是open_table_definitions，包括读表信息一类的

以后再有查询就是拷贝一个对象，加一个计数这样的

三、godtrue

课前思考1：为啥只查一行的语句，也执行这么慢？查的慢，基本上就是索引使用的问题，和查一行仍是N行(N不是巨大)，没有必然联系。查一行慢，猜想没有走索引查询，且数据量比较大。课后思考1：阅后发现本身的无知，只查询一行的语句，也比较慢，缘由从大到小可分为三种状况？第一MySQL数据库自己被堵住了，好比：系统或网络资源不够第二SQL语句被堵住了，好比：表锁，行锁等，致使存储引擎不执行对应的SQL语句第三确实是索引使用不当，没有走索引第四是表中数据的特色致使的，走了索引，但回表次数庞大感谢老师的分享，真是醍醐灌顶呀😄