通常状况下,若是我跟你说查询性能优化,你首先会想到一些复杂的语句,想到查询须要返回大量的数据。但有些状况下,“查一行”,也会执行得特别慢。今天,我就跟你聊聊这个有趣的话题,看看什么状况下,会出现这个现象。mysql
须要说明的是,若是MySQL数据库自己就有很大的压力,致使数据库服务器CPU占用率很高或ioutil(IO利用率)很高,这种状况下全部语句的执行都有可能变慢,不属于咱们今天的讨论范围。sql
为了便于描述,我仍是构造一个表,基于这个表来讲明今天的问题。这个表有两个字段id和c,而且我在里面插入了10万行记录。数据库
mysql> CREATE TABLE `t` ( `id` int(11) NOT NULL, `c` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB; delimiter ;; create procedure idata() begin declare i int; set i=1; while(i<=100000)do insert into t values(i,i); set i=i+1; end while; end;; delimiter ; call idata();
接下来,我会用几个不一样的场景来举例,有些是前面的文章中咱们已经介绍过的知识点,你看看能不能一眼看穿,来检验一下吧。性能优化
如图1所示,在表t执行下面的SQL语句:服务器
mysql> select * from t where id=1;
查询结果长时间不返回。session
通常碰到这种状况的话,大几率是表t被锁住了。接下来分析缘由的时候,通常都是首先执行一下show processlist命令,看看当前语句处于什么状态。函数
而后咱们再针对每种状态,去分析它们产生的缘由、如何复现,以及如何处理。性能
如图2所示,就是使用show processlist命令查看Waiting for table metadata lock的示意图。优化
出现这个状态表示的是,如今有一个线程正在表t上请求或者持有MDL写锁,把select语句堵住了。spa
在第6篇文章《全局锁和表锁 :给表加个字段怎么有这么多阻碍?》中,我给你介绍过一种复现方法。但须要说明的是,那个复现过程是基于MySQL 5.6版本的。而MySQL 5.7版本修改了MDL的加锁策略,因此就不能复现这个场景了。
不过,在MySQL 5.7版本下复现这个场景,也很容易。如图3所示,我给出了简单的复现步骤。
session A 经过lock table命令持有表t的MDL写锁,而session B的查询须要获取MDL读锁。因此,session B进入等待状态。
这类问题的处理方式,就是找到谁持有MDL写锁,而后把它kill掉。
可是,因为在show processlist的结果里面,session A的Command列是“Sleep”,致使查找起来很不方便。不过有了performance_schema和sys系统库之后,就方便多了。(MySQL启动时须要设置performance_schema=on,相比于设置为off会有10%左右的性能损失)
经过查询sys.schema_table_lock_waits这张表,咱们就能够直接找出形成阻塞的process id,把这个链接用kill 命令断开便可。
接下来,我给你举另一种查询被堵住的状况。
我在表t上,执行下面的SQL语句:
mysql> select * from information_schema.processlist where id=1;
这里,我先卖个关子。
你能够看一下图5。我查出来这个线程的状态是Waiting for table flush,你能够设想一下这是什么缘由。
这个状态表示的是,如今有一个线程正要对表t作flush操做。MySQL里面对表作flush操做的用法,通常有如下两个:
flush tables t with read lock; flush tables with read lock;
这两个flush语句,若是指定表t的话,表明的是只关闭表t;若是没有指定具体的表名,则表示关闭MySQL里全部打开的表。
可是正常这两个语句执行起来都很快,除非它们也被别的线程堵住了。
因此,出现Waiting for table flush状态的可能状况是:有一个flush tables命令被别的语句堵住了,而后它又堵住了咱们的select语句。
如今,咱们一块儿来复现一下这种状况,复现步骤如图6所示:
在session A中,我故意每行都调用一次sleep(1),这样这个语句默认要执行10万秒,在这期间表t一直是被session A“打开”着。而后,session B的flush tables t命令再要去关闭表t,就须要等session A的查询结束。这样,session C要再次查询的话,就会被flush 命令堵住了。
图7是这个复现步骤的show processlist结果。这个例子的排查也很简单,你看到这个show processlist的结果,确定就知道应该怎么作了。
如今,通过了表级锁的考验,咱们的select 语句终于来到引擎里了。
mysql> select * from t where id=1 lock in share mode;
上面这条语句的用法你也很熟悉了,咱们在第8篇《事务究竟是隔离的仍是不隔离的?》文章介绍当前读时提到过。
因为访问id=1这个记录时要加读锁,若是这时候已经有一个事务在这行记录上持有一个写锁,咱们的select语句就会被堵住。
复现步骤和现场以下:
显然,session A启动了事务,占有写锁,还不提交,是致使session B被堵住的缘由。
这个问题并不难分析,但问题是怎么查出是谁占着这个写锁。若是你用的是MySQL 5.7版本,能够经过sys.innodb_lock_waits 表查到。
查询方法是:
mysql> select * from t sys.innodb_lock_waits where locked_table=`'test'.'t'`\G
能够看到,这个信息很全,4号线程是形成堵塞的罪魁祸首。而干掉这个罪魁祸首的方式,就是KILL QUERY 4或KILL 4。
不过,这里不该该显示“KILL QUERY 4”。这个命令表示中止4号线程当前正在执行的语句,而这个方法实际上是没有用的。由于占有行锁的是update语句,这个语句已是以前执行完成了的,如今执行KILL QUERY,没法让这个事务去掉id=1上的行锁。
实际上,KILL 4才有效,也就是说直接断开这个链接。这里隐含的一个逻辑就是,链接被断开的时候,会自动回滚这个链接里面正在执行的线程,也就释放了id=1上的行锁。
通过了重重封“锁”,咱们再来看看一些查询慢的例子。
先来看一条你必定知道缘由的SQL语句:
mysql> select * from t where c=50000 limit 1;
因为字段c上没有索引,这个语句只能走id主键顺序扫描,所以须要扫描5万行。
做为确认,你能够看一下慢查询日志。注意,这里为了把全部语句记录到slow log里,我在链接后先执行了 set long_query_time=0,将慢查询日志的时间阈值设置为0。
Rows_examined显示扫描了50000行。你可能会说,不是很慢呀,11.5毫秒就返回了,咱们线上通常都配置超过1秒才算慢查询。但你要记住:坏查询不必定是慢查询。咱们这个例子里面只有10万行记录,数据量大起来的话,执行时间就线性涨上去了。
扫描行数多,因此执行慢,这个很好理解。
可是接下来,咱们再看一个只扫描一行,可是执行很慢的语句。
如图12所示,是这个例子的slow log。能够看到,执行的语句是
mysql> select * from t where id=1;
虽然扫描行数是1,但执行时间却长达800毫秒。
是否是有点奇怪呢,这些时间都花在哪里了?
若是我把这个slow log的截图再往下拉一点,你能够看到下一个语句,select * from t where id=1 lock in share mode,执行时扫描行数也是1行,执行时间是0.2毫秒。
看上去是否是更奇怪了?按理说lock in share mode还要加锁,时间应该更长才对啊。
可能有的同窗已经有答案了。若是你尚未答案的话,我再给你一个提示信息,图14是这两个语句的执行输出结果。
第一个语句的查询结果里c=1,带lock in share mode的语句返回的是c=1000001。看到这里应该有更多的同窗知道缘由了。若是你仍是没有头绪的话,也别着急。我先跟你说明一下复现步骤,再分析缘由。
你看到了,session A先用start transaction with consistent snapshot命令启动了一个事务,以后session B才开始执行update 语句。
session B执行完100万次update语句后,id=1这一行处于什么状态呢?你能够从图16中找到答案。
session B更新完100万次,生成了100万个回滚日志(undo log)。
带lock in share mode的SQL语句,是当前读,所以会直接读到1000001这个结果,因此速度很快;而select * from t where id=1这个语句,是一致性读,所以须要从1000001开始,依次执行undo log,执行了100万次之后,才将1这个结果返回。
注意,undo log里记录的实际上是“把2改为1”,“把3改为2”这样的操做逻辑,画成减1的目的是方便你看图。
今天我给你举了在一个简单的表上,执行“查一行”,可能会出现的被锁住和执行慢的例子。这其中涉及到了表锁、行锁和一致性读的概念。
在实际使用中,碰到的场景会更复杂。但大同小异,你能够按照我在文章中介绍的定位方法,来定位并解决问题。
最后,我给你留一个问题吧。
咱们在举例加锁读的时候,用的是这个语句,select * from t where id=1 lock in share mode。因为id上有索引,因此能够直接定位到id=1这一行,所以读锁也是只加在了这一行上。
但若是是下面的SQL语句,
begin; select * from t where c=5 for update; commit;
这个语句序列是怎么加锁的呢?加的锁又是何时释放呢?
你能够把你的观点和验证方法写在留言区里,我会在下一篇文章的末尾给出个人参考答案。感谢你的收听,也欢迎你把这篇文章分享给更多的朋友一块儿阅读。
在上一篇文章最后,我留给你的问题是,但愿你能够分享一下以前碰到过的、与文章中相似的场景。
@封建的风 提到一个有趣的场景,值得一说。我把他的问题重写一下,表结构以下:
mysql> CREATE TABLE `table_a` ( `id` int(11) NOT NULL, `b` varchar(10) DEFAULT NULL, PRIMARY KEY (`id`), KEY `b` (`b`) ) ENGINE=InnoDB;
假设如今表里面,有100万行数据,其中有10万行数据的b的值是’1234567890’, 假设如今执行语句是这么写的:
mysql> select * from table_a where b='1234567890abcd';
这时候,MySQL会怎么执行呢?
最理想的状况是,MySQL看到字段b定义的是varchar(10),那确定返回空呀。惋惜,MySQL并无这么作。
那要不,就是把’1234567890abcd’拿到索引里面去作匹配,确定也没可以快速判断出索引树b上并无这个值,也很快就能返回空结果。
但实际上,MySQL也不是这么作的。
这条SQL语句的执行很慢,流程是这样的:
在传给引擎执行的时候,作了字符截断。由于引擎里面这个行只定义了长度是10,因此只截了前10个字节,就是’1234567890’进去作匹配;
这样知足条件的数据有10万行;
由于是select *, 因此要作10万次回表;
可是每次回表之后查出整行,到server层一判断,b的值都不是’1234567890abcd’;
返回结果是空。
这个例子,是咱们文章内容的一个很好的补充。虽然执行过程当中可能通过函数操做,可是最终在拿到结果后,server层仍是要作一轮判断的。