我在第 3 篇文章和你讲事务隔离级别的时候提到过,若是是可重复读隔离级别,事务 T 启动的时候会建立一个视图 read-view,以后事务 T 执行期间,即便有其余事务修改了数
据,事务 T 看到的仍然跟在启动时看到的同样。也就是说,一个在可重复读隔离级别下执行的事务,好像与世无争,不受外界影响。mysql
可是,我在上一篇文章中,和你分享行锁的时候又提到,一个事务要更新一行,若是恰好有另一个事务拥有这一行的行锁,它又不能这么超然了,会被锁住,进入等待状态。问
题是,既然进入了等待状态,那么等到这个事务本身获取到行锁要更新数据的时候,它读到的值又是什么呢?
我给你举一个例子吧。下面是一个只有两行的表的初始化语句。sql
mysql> CREATE TABLE `t` ( `id` int(11) NOT NULL, `k` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB; insert into t(id, k) values(1,1),(2,2);
图 1 事务 A、B、C 的执行流程数组
这里,咱们须要注意的是事务的启动时机。bash
begin/start transaction 命令并非一个事务的起点,在执行到它们以后的第一个操做InnoDB 表的语句,事务才真正启动。若是你想要立刻启动一个事务,可使用 start
transaction with consistent snapshot 这个命令。spa
第一种启动方式,一致性视图是在第执行第一个快照读语句时建立的; 第二种启动方式,一致性视图是在执行 start transaction with consistentsnapshot 时建立的。
还须要注意的是,在整个专栏里面,咱们的例子中若是没有特别说明,都是默认autocommit=1。翻译
在这个例子中,事务 C 没有显式地使用 begin/commit,表示这个 update 语句自己就是一个事务,语句完成的时候会自动提交。事务 B 在更新了行以后查询 ; 事务 A 在一个只读3d
事务中查询,而且时间顺序上是在事务 B 的查询以后。
这时,若是我告诉你事务 B 查到的 k 的值是 3,而事务 A 查到的 k 的值是 1,你是否是感受有点晕呢?日志
因此,今天这篇文章,我其实就是想和你说明白这个问题,但愿借由把这个疑惑解开的过程,可以帮助你对 InnoDB 的事务和锁有更进一步的理解。blog
在 MySQL 里,有两个“视图”的概念:事务
一个是 view。它是一个用查询语句定义的虚拟表,在调用的时候执行查询语句并生成结果。建立视图的语法是 create view … ,而它的查询方法与表同样。 另外一个是 InnoDB 在实现 MVCC 时用到的一致性读视图,即 consistent read view,用于支持 RC(Read Committed,读提交)和 RR(Repeatable Read,可重复读)隔离级别的实现。
它没有物理结构,做用是事务执行期间用来定义“我能看到什么数据”。
在第 3 篇文章《事务隔离:为何你改了我还看不见?》中,我跟你解释过一遍 MVCC的实现逻辑。今天为了说明查询和更新的区别,我换一个方式来讲明,把 read view 拆
开。你能够结合这两篇文章的说明来更深一步地理解 MVCC。
在可重复读隔离级别下,事务在启动的时候就“拍了个快照”。注意,这个快照是基于整库的。
这时,你会说这看上去不太现实啊。若是一个库有 100G,那么我启动一个事务,MySQL就要拷贝 100G 的数据出来,这个过程得多慢啊。但是,我平时的事务执行起来很快啊。
实际上,咱们并不须要拷贝出这 100G 的数据。咱们先来看看这个快照是怎么实现的。InnoDB 里面每一个事务有一个惟一的事务 ID,叫做 transaction id。它是在事务开始的时
候向 InnoDB 的事务系统申请的,是按申请顺序严格递增的。
而每行数据也都是有多个版本的。每次事务更新数据的时候,都会生成一个新的数据版本,而且把 transaction id 赋值给这个数据版本的事务 ID,记为 row trx_id。同时,旧的
数据版本要保留,而且在新的数据版本中,可以有信息能够直接拿到它。
也就是说,数据表中的一行记录,其实可能有多个版本 (row),每一个版本有本身的 rowtrx_id。
如图 2 所示,就是一个记录被多个事务连续更新后的状态。
图 2 行状态变动图
图中虚线框里是同一行数据的 4 个版本,当前最新版本是 V4,k 的值是 22,它是被transaction id 为 25 的事务更新的,所以它的 row trx_id 也是 25。
一、undo log在哪呢?
你可能会问,前面的文章不是说,语句更新会生成 undo log(回滚日志)吗?那么,undo log 在哪呢?
实际上,图 2 中的三个虚线箭头,就是 undo log;而 V一、V二、V3 并非物理上真实存在的,而是每次须要的时候根据当前版本和 undo log 计算出来的。好比,须要 V2 的时
候,就是经过 V4 依次执行 U三、U2 算出来。
明白了多版本和 row trx_id 的概念后,咱们再来想一下,InnoDB 是怎么定义那个“100G”的快照的。
按照可重复读的定义,一个事务启动的时候,可以看到全部已经提交的事务结果。可是以后,这个事务执行期间,其余事务的更新对它不可见。
所以,一个事务只须要在启动的时候声明说,
一、以我启动的时刻为准,若是一个数据版本是在我启动以前生成的,就认;
二、若是是我启动之后才生成的,我就不认,我必需要找到它的上一个版本”。
固然,若是“上一个版本”也不可见,那就得继续往前找。还有,若是是这个事务本身更新的数据,它本身仍是要认的。
二、活跃的指的是?
在实现上, InnoDB 为每一个事务构造了一个数组,用来保存这个事务启动瞬间,当前正在“活跃”的全部事务 ID。“活跃”指的就是,启动了但还没提交。
数组里面事务 ID 的最小值记为低水位,当前系统里面已经建立过的事务 ID 的最大值加 1记为高水位。
这个视图数组和高水位,就组成了当前事务的一致性视图(read-view)。
而数据版本的可见性规则,就是基于数据的 row trx_id 和这个一致性视图的对比结果获得的。
这个视图数组把全部的 row trx_id 分红了几种不一样的状况。
图 3 数据版本可见性规则
这样,对于当前事务的启动瞬间来讲,一个数据版本的 row trx_id,有如下几种可能:
1. 若是落在绿色部分,表示这个版本是已提交的事务或者是当前事务本身生成的,这个数据是可见的;
2. 若是落在红色部分,表示这个版本是由未来启动的事务生成的,是确定不可见的;
3. 若是落在黄色部分,那就包括两种状况
a. 若 row trx_id 在数组中,表示这个版本是由还没提交的事务生成的,不可见; b. 若 row trx_id 不在数组中,表示这个版本是已经提交了的事务生成的,可见。
好比,对于图 2 中的数据来讲,若是有一个事务,它的低水位是 18,那么当它访问这一行数据时,就会从 V4 经过 U3 计算出 V3,因此在它看来,这一行的值是 11。
你看,有了这个声明后,系统里面随后发生的更新,是否是就跟这个事务看到的内容无关了呢?由于以后的更新,生成的版本必定属于上面的 2 或者 3(a) 的状况,而对它来讲,这
些新的数据版本是不存在的,因此这个事务的快照,就是“静态”的了。
因此你如今知道了,InnoDB 利用了“全部数据都有多个版本”的这个特性,实现了“秒级建立快照”的能力。
接下来,咱们继续看一下图 1 中的三个事务,分析下事务 A 的语句返回的结果,为何是k=1。
这里,咱们不妨作以下假设:
1. 事务 A 开始前,系统里面只有一个活跃事务 ID 是 99;
2. 事务 A、B、C 的版本号分别是 100、10一、102,且当前系统里只有这四个事务;
3. 三个事务开始前,(1,1)这一行数据的 row trx_id 是 90。
这样,事务 A 的视图数组就是 [99,100], 事务 B 的视图数组是 [99,100,101], 事务 C 的视图数组是 [99,100,101,102]。
为了简化分析,我先把其余干扰语句去掉,只画出跟事务 A 查询逻辑有关的操做:
图 4 事务 A 查询数据逻辑图
从图中能够看到,第一个有效更新是事务 C,把数据从 (1,1) 改为了 (1,2)。这时候,这个数据的最新版本的 row trx_id 是 102,而 90 这个版本已经成为了历史版本。
第二个有效更新是事务 B,把数据从 (1,2) 改为了 (1,3)。这时候,这个数据的最新版本(即 row trx_id)是 101,而 102 又成为了历史版本。
你可能注意到了,在事务 A 查询的时候,其实事务 B 尚未提交,可是它生成的 (1,3) 这个版本已经变成当前版本了。但这个版本对事务 A 必须是不可见的,不然就变成脏读了。
好,如今事务 A 要来读数据了,它的视图数组是 [99,100]。固然了,读数据都是从当前版本读起的。因此,事务 A 查询语句的读数据流程是这样的:
这样执行下来,虽然期间这一行数据被修改过,可是事务 A 不论在何时查询,看到这行数据的结果都是一致的,因此咱们称之为一致性读。
这个判断规则是从代码逻辑直接转译过来的,可是正如你所见,用于人肉分析可见性很麻烦。
因此,我来给你翻译一下。一个数据版本,对于一个事务视图来讲,除了本身的更新老是可见之外,有三种状况:
1. 版本未提交,不可见;
2. 版本已提交,可是是在视图建立后提交的,不可见;
3. 版本已提交,并且是在视图建立前提交的,可见。
如今,咱们用这个规则来判断图 4 中的查询结果,事务 A 的查询语句的视图数组是在事务A 启动的时候生成的,这时候:
(1,3) 还没提交,属于状况 1,不可见;
(1,2) 虽然提交了,可是是在视图数组建立以后提交的,属于状况 2,不可见;
(1,1) 是在视图数组建立以前提交的,可见。
你看,去掉数字对比后,只用时间前后顺序来判断,分析起来是否是轻松多了。因此,后面咱们就都用这个规则来分析。
细心的同窗可能有疑问了:事务 B 的 update 语句,若是按照一致性读,好像结果不对哦?
你看图 5 中,事务 B 的视图数组是先生成的,以后事务 C 才提交,不是应该看不见 (1,2)吗,怎么能算出 (1,3) 来?
图 5 事务 B 更新逻辑图
是的,若是事务 B 在更新以前查询一次数据,这个查询返回的 k 的值确实是 1。
可是,当它要去更新数据的时候,就不能再在历史版本上更新了,不然事务 C 的更新就丢失了。所以,事务 B 此时的 set k=k+1 是在(1,2)的基础上进行的操做。
因此,这里就用到了这样一条规则:更新数据都是先读后写的,而这个读,只能读当前的值,称为“当前读”(current read)。
所以,在更新的时候,当前读拿到的数据是 (1,2),更新后生成了新版本的数据 (1,3),这个新版本的 row trx_id 是 101。
因此,在执行事务 B 查询语句的时候,一看本身的版本号是 101,最新数据的版本号也是101,是本身的更新,能够直接使用,因此查询获得的 k 的值是 3。
这里咱们提到了一个概念,叫做当前读。其实,除了 update 语句外,select 语句若是加锁,也是当前读。
因此,若是把事务 A 的查询语句 select * from t where id=1 修改一下,加上 lock inshare mode 或 for update,也均可以读到版本号是 101 的数据,返回的 k 的值是 3。下
面这两个 select 语句,就是分别加了读锁(S 锁,共享锁)和写锁(X 锁,排他锁)。
再往前一步,假设事务 C 不是立刻提交的,而是变成了下面的事务 C’,会怎么样呢?
图 6 事务 A、B、C'的执行流程
事务 C’的不一样是,更新后并无立刻提交,在它提交前,事务 B 的更新语句先发起了。前面说过了,虽然事务 C’还没提交,可是 (1,2) 这个版本也已经生成了,而且是当前的
最新版本。那么,事务 B 的更新语句会怎么处理呢?
这时候,咱们在上一篇文章中提到的“两阶段锁协议”就要上场了。事务 C’没提交,也就是说 (1,2) 这个版本上的写锁还没释放。而事务 B 是当前读,必需要读最新版本,并且
必须加锁,所以就被锁住了,必须等到事务 C’释放这个锁,才能继续它的当前读。
图 7 事务 B 更新逻辑图(配合事务 C')
到这里,咱们把一致性读、当前读和行锁就串起来了。
如今,咱们再回到文章开头的问题:
事务的可重复读的能力是怎么实现的?
可重复读的核心就是一致性读(consistent read);而事务更新数据的时候,只能用当前读。若是当前的记录的行锁被其余事务占用的话,就须要进入锁等待。
而读提交的逻辑和可重复读的逻辑相似,它们最主要的区别是:
在可重复读隔离级别下,只须要在事务开始的时候建立一致性视图,以后事务里的其余查询都共用这个一致性视图; 在读提交隔离级别下,每个语句执行前都会从新算出一个新的视图。
那么,咱们再看一下,在读提交隔离级别下,事务 A 和事务 B 的查询语句查到的 k,分别应该是多少呢?
这里须要说明一下,“start transaction with consistent snapshot; ”的意思是从这个语句开始,建立一个持续整个事务的一致性快照。因此,在读提交隔离级别下,这个用法就
没意义了,等效于普通的 start transaction。
下面是读提交时的状态图,能够看到这两个查询语句的建立视图数组的时机发生了变化,就是图中的 read view 框。(注意:这里,咱们用的仍是事务 C 的逻辑直接提交,而不是事务 C’)
图 8 读提交隔离级别下的事务状态图
这时,事务 A 的查询语句的视图数组是在执行这个语句的时候建立的,时序上 (1,2)、(1,3) 的生成时间都在建立这个视图数组的时刻以前。可是,在这个时刻:
(1,3) 还没提交,属于状况 1,不可见; (1,2) 提交了,属于状况 3,可见
因此,这时候事务 A 查询语句返回的是 k=2。显然地,事务 B 查询结果 k=3。
InnoDB 的行数据有多个版本,每一个数据版本有本身的 row trx_id,每一个事务或者语句有本身的一致性视图。普通查询语句是一致性读,一致性读会根据 row trx_id 和一致性视图
肯定数据版本的可见性。
对于可重复读,查询只认可在事务启动前就已经提交完成的数据; 对于读提交,查询只认可在语句启动前就已经提交完成的数据;
而当前读,老是读取已经提交完成的最新版本。
你也能够想一下,为何表结构不支持“可重复读”?这是由于表结构没有对应的行数据,也没有 row trx_id,所以只能遵循当前读的逻辑。
固然,MySQL 8.0 已经能够把表结构放在 InnoDB 字典里了,也许之后会支持表结构的可重复读。
又到思考题时间了。我用下面的表结构和初始化语句做为试验环境,事务隔离级别是可重复读。如今,我要把全部“字段 c 和 id 值相等的行”的 c 值清零,可是却发现了一
个“诡异”的、改不掉的状况。请你构造出这种状况,并说明其原理。
mysql> CREATE TABLE `t` ( `id` int(11) NOT NULL, `c` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB; insert into t(id, c) values(1,1),(2,2),(3,3),(4,4);
复现出来之后,请你再思考一下,在实际的业务开发中有没有可能碰到这种状况?你的应用代码会不会掉进这个“坑”里,你又是怎么解决的呢?
你能够把你的思考和观点写在留言区里,我会在下一篇文章的末尾和你讨论这个问题。感谢你的收听,也欢迎你把这篇文章分享给更多的朋友一块儿阅读。
我在上一篇文章最后,留给你的问题是:怎么删除表的前 10000 行。比较多的留言都选择了第二种方式,即:在一个链接中循环执行 20 次 delete from T limit 500。
确实是这样的,第二种方式是相对较好的。
第一种方式(即:直接执行 delete from T limit 10000)里面,单个语句占用时间长,锁的时间也比较长;并且大事务还会致使主从延迟。
第三种方式(即:在 20 个链接中同时执行 delete from T limit 500),会人为形成锁冲突。
这篇理论知识很丰富,须要先总结下:
1.innodb支持RC和RR隔离级别实现是用的一致性视图(consistent read view)
2.事务在启动时会拍一个快照,这个快照是基于整个库的.
基于整个库的意思就是说一个事务内,整个库的修改对于该事务都是不可见的(对于快照读的状况)
若是在事务内select t表,另外的事务执行了DDL t表,根据发生时间,要嘛锁住要嘛报错(参考第六章)
3.事务是如何实现的MVCC呢?
(1)每一个事务都有一个事务ID,叫作transaction id(严格递增)
(2)事务在启动时,找到已提交的最大事务ID记为up_limit_id。
(3)事务在更新一条语句时,好比id=1改成了id=2.会把id=1和该行以前的row trx_id写到undo log里,而且在数据页上把id的值改成2,而且把修改这条语句的transaction id记在该行行头
(4)再定一个规矩,一个事务要查看一条数据时,必须先用该事务的up_limit_id与该行的transaction id作比对,
若是up_limit_id>=transaction id,那么能够看.若是up_limit_id<transaction id,则只能去undo log里去取。去undo log查找数据的时候,也须要作比对,必须up_limit_id>transaction id,才返回数据
4.什么是当前读,因为当前读都是先读后写,只能读当前的值,因此为当前读.会更新事务内的up_limit_id为该事务的transaction id
5.为何rr能实现可重复读而rc不能,分两种状况
(1)快照读的状况下,rr不能更新事务内的up_limit_id,而rc每次会把up_limit_id更新为快照读以前最新已提交事务的transaction id,则rc不能可重复读(2)当前读的状况下,rr是利用record lock+gap lock来实现的,而rc没有gap,因此rc不能可重复读