MySQL & MariaDB Online DDL 参考指南

时间  2020-10-27
标签 html mysql git github 算法 sql 数据库 bash 服务器 架构 栏目 MySQL 繁體版
原文   原文链接

图文无关

概述

在早期的 MySQL 版本中，DDL 操做（如建立索引等）一般都须要对数据表加锁，操做过程当中 DML 操做都会被阻塞，影响正常业务。MySQL 5.6 和 MariaDB 10.0 开始支持 Online DDL，能够在执行 DDL 操做的同时，不影响 DML 的正常执行，线上直接执行 DDL 操做对用户基本无感知（部分操做对性能有影响）。html

不一样版本的数据库对各类 DDL 语句的支持存在必定的差别，本文将会针对 MySQL 和 MariaDB 对 Online DDL 的支持状况作一个汇总，在须要执行 DDL 操做时，能够参考本文的 Online DDL 支持状况 部分。mysql

本文将会持续修正和更新，最新内容请参考个人 GITHUB 上的 程序猿成长计划 项目，欢迎 Star，更多精彩内容请 follow me。git

在 ALTER TABLE 语句中，支持经过 ALGORITHM 和 LOCK 语句来实现 Online DDL：github

  • ALGORITHM - 控制 DDL 操做如何执行，使用哪一个算法
  • LOCK - 控制在执行 DDL 时容许对表加锁的级别
ALTER TABLE tab ADD COLUMN c varchar(50), ALGORITHM=INPLACE, LOCK=NONE;

ALGORITHM 支持的算法

ALGORITHM 说明
DEFAULT 默认算法，自动使用可用的最高效的算法
COPY 最原始的方式，全部的存储引擎都支持，不使用 Online DDL，操做时会建立临时表，执行全表拷贝和重建，过程当中会写入 Redo Log 和大量的 Undo Log，须要添加读锁，很是低效
INPLACE 尽量避免表拷贝和重建，更确切的名字应该是 ENGINE 算法，由存储引擎决定如何实现，有些操做是能够当即生效的（好比重命名列，改变列的默认值等），但有些操做依然须要全表或者部分表的拷贝和重建（好比添加删除列、添加主键、改变列为 NULL 等）
NOCOPY 该算法是 INPLACE 算法的子集，用于避免聚簇索引（主键索引）的重建形成全表重建，也就说用该算法会禁止任何引发聚簇索引重建的操做
INSTANT 用于避免 INPLACE 算法在须要修改数据文件时异常低效的问题，全部涉及到表拷贝和重建的操做都会被禁止
NOCOPY 算法支持： MariaDB 10.3.2+， MySQL 不支持该算法。

INSTANT 算法支持：MariaDB 10.3.2+，MySQL 8.0.12+。算法

算法使用规则：sql

  • 若是用户指定的算法为 COPY，则 InnoDB 使用 COPY 算法。
  • 若是用户指定的是 COPY 以外的其它算法，则 InnoDB 会按照算法效率，选择最高效的算法，最差的状况下采用用户指定的算法。好比用户指定了 ALOGRITHM = NOCOPY，则 InnoDB 会从 (NOCOPY, INSTANT) 中选择支持的最高效的算法。

ALGORITHM 优劣

MySQL 服务主要为 Server 层 和 存储引擎层 两部分组成，Server 层包含了 MySQL 大部分核心功能，全部的内置函数，跨存储引擎的功能如存储过程、触发器、视图等。存储引擎层负责数据的存储和读取，采用了插件式的架构模式。数据库

COPY 算法 做用在 Server 层，其执行过程都是在 Server 层，所以全部存储引擎都支持使用该算法，执行过程以下图bash

COPY算法执行过程

INPLACE 算法 做用于存储引擎层，是 InnoDB 存储引擎特有的 DDL 算法，执行过程以下图所示服务器

INPLACE 算法执行过程

LOCK 策略

默认状况下，MySQL/MariaDB 在执行 DDL 期间会使用尽量少的锁，若是必要，能够经过 LOCK 子句控制在执行 DDL 时容许对表加锁的级别。若是指定的操做所要求的限制级别不知足（EXCLUSIVE > SHARED > NONE），则语句执行失败并报错。架构

策略 说明
DEFAULT 使用当前操做支持的粒度最小的锁策略
NONE 不获取任何表锁，容许全部的 DML 操做
SHARED 对表添加共享锁（读锁），只容许只读的 DML 操做
EXCLUSIVE 对表添加排它锁（写锁），不容许任何 DML 操做
为了不执行 DDL 时，因为锁表致使生产服务不可用，在执行表结构变动语句时，能够添加 LOCK=NONE 子句，若是语句须要获取共享锁或者排它锁，则会直接报错，这样就能够避免意外锁表，形成线上服务不可用了。

Online DDL 执行过程

Online DDL 操做主要分为三个阶段：

Online DDL 执行过程

  • 阶段 1：初始化

    在初始化阶段，服务器会根据存储引擎的能力，操做的语句和用户指定的 ALGORITHM 和 LOCK 选项来决定容许多大程度的并发。在这个阶段会建立一个 可升级的元数据共享锁（SU）来保护表定义。

  • 阶段 2：执行

    这个阶段会 准备 并 执行 DDL 语句，根据 阶段 1 评估的结果来决定是否将元数据锁升级为 排它锁 （X），若是须要升级为排它锁，则只在 DDL 的 准备阶段 短暂的添加排它锁。

  • 阶段 3：提交表定义

    在表定义的提交阶段，元数据锁会升级为排它锁来更新表的定义。独占排它锁的持续时间很是短。

元数据锁（MDL，Metadata Lock）主要用于 DDL 和 DML 操做之间的并发访问控制，保护表结构（表定义）的一致，保证读写的正确性。MDL 不须要显式的使用，在访问表时会自动加上。

MDL

因为上面三个阶段中对元数据锁的独占， Online DDL 过程必须等待已经持有元数据锁的并发事务提交或者回滚才能继续执行。

注意：当 Online DDL 操做正在等待元数据锁时，该元数据锁会处于挂起状态，后续的全部事务都会被阻塞。在 MariaDB 10.3 以后，能够经过添加 NO WAIT 或者 WAIT n 来控制等待所得超时时间，超时当即失败。

ALTER TABLE tbl_name [WAIT n|NOWAIT] ...
CREATE ... INDEX ON tbl_name (index_col_name, ...) [WAIT n|NOWAIT] ...
DROP INDEX ... [WAIT n|NOWAIT]
DROP TABLE tbl_name [WAIT n|NOWAIT] ...
LOCK TABLE ... [WAIT n|NOWAIT]
OPTIMIZE TABLE tbl_name [WAIT n|NOWAIT]
RENAME TABLE tbl_name [WAIT n|NOWAIT] ...
SELECT ... FOR UPDATE [WAIT n|NOWAIT]
SELECT ... LOCK IN SHARE MODE [WAIT n|NOWAIT]
TRUNCATE TABLE tbl_name [WAIT n|NOWAIT]

评估 Online DDL 操做的性能

Online DDL 操做的性能取决因而否发生了表的重建。在对大表执行 DDL 操做以前，为了不影响正常业务操做，最好是先评估一下 DDL 语句的性能再选择如何操做。

  1. 复制表结构，建立一个新的表
  2. 在新建立的表中插入少许数据
  3. 在新表上面执行 DDL 操做
  4. 检查执行操做后返回的 rows affected 是不是 0。若是该值非 0，则意味着须要拷贝表数据，此时对 DDL 的上线须要慎重考虑，周密计划

好比

  • 修改某一列的默认值（快速，不会影响到表数据）

    Query OK, 0 rows affected (0.07 sec)

  • 添加索引（须要花费一些时间，可是 0 rows affected 说明没有发生表拷贝）

    Query OK, 0 rows affected (21.42 sec)

  • 修改列的数据类型（须要花费很长时间，而且重建表）

    Query OK, 1671168 rows affected (1 min 35.54 sec)

因为在执行 Online DDL 过程当中须要记录并发执行的 DML 操做发生的变动，而后在执行完 DDL 操做以后再应用这些变动，所以使用 Online DDL 操做花费的时间比不使用 Online 模式执行要更长一些。

Online DDL 支持状况

INSTANT 算法支持：MariaDB 10.3.2+，MySQL 8.0.12+。NOCOPY 只支持 MariaDB 10.3.2 以上版本，不支持 MySQL，这里就暂且忽略了。

重点关注是否 重建表 和 支持并发 DML：不须要重建表，支持并发 DML 最佳。

Online DDL Select Path

二级索引

操做 INSTANT INPLACE 重建表 并发 DML 只修改元数据
建立或者添加二级索引 ❌ ✅ ❌ ✅ ❌
删除索引 ❌ ✅ ❌ ✅ ✅
重命名索引 （⚠️MySQL 5.7+，MariaDB 10.5.2+） ❌ ✅ ❌ ✅ ✅
添加 FULLTEXT 索引 ❌ ✅ ① ❌ ① ❌ ❌
添加 SPATIAL 索引（⚠️MySQL 5.7+，MariaDB 10.2.2+） ❌ ✅ ❌ ❌ ❌
修改索引类型 ✅ ✅ ❌ ✅ ✅

说明：

  • ① 第一次添加全文索引字段时须要重建表，以后就不须要了

主键

操做 INSTANT INPLACE 重建表 并发 DML 只修改元数据
添加主键 ❌ ✅ ② ✅ ② ✅ ❌
删除主键 ❌ ❌ ✅ ❌ ❌
删除一个主键同时添加一个新的 ❌ ✅ ✅ ✅ ❌

说明：

  • 重建聚簇索引老是须要拷贝表数据（InnoDB 是“索引组织表”），因此最好是在建立表的时候就定义好主键
  • 若是建立表是没有指定主键，InnoDB 会选择第一个 NOT NULL 的 UNIQUE 索引做为主键，或者使用系统生成的 KEY
  • ② 对聚簇索引来讲，使用 INPLACE 模式比 COPY 模式要高效一些：不会产生 undo log 和 redo log，二级索引是有序的，因此能够按顺序加载，不须要使用变动缓冲区

普通列

操做 INSTANT INPLACE 重建表 并发 DML 只修改元数据
列添加 ✅ ③ ✅ ❌ ③ ✅ ③ ❌
列删除 ❌ ④ ✅ ✅ ✅ ❌
列重命名 ❌ ✅ ❌ ✅ ⑤ ✅
改变列的顺序 ❌ ⑫ ✅ ✅ ✅ ❌
设置默认值 ✅ ✅ ❌ ✅ ✅
修改数据类型 ❌ ❌ ✅ ❌ ❌
扩展 VARCHAR 长度（⚠️MySQL 5.7+, MariaDB 10.2.2+） ❌ ⑬ ✅ ❌ ⑥ ✅ ✅
删除列的默认值 ✅ ✅ ❌ ✅ ✅
改变自增值 ❌ ✅ ❌ ✅ ❌ ⑦
设置列为 NULL ❌ ✅ ✅ ⑧ ✅ ❌
设置列为 NOT NULL ❌ ✅ ⑨ ✅ ⑨ ✅ ❌
修改 ENUM 和 SET 列的定义 ✅ ✅ ❌ ⑩ ✅ ✅

说明：

  • ③ 并发 DML：当插入一个自增列时，不支持并发的 DML 操做，添加自增列时，大量的数据会被从新组织，代价高昂
  • ③ 重建表：添加列时，MySQL 5.7及以前版本须要重建表，MySQL 8.0 当 ALGORITHM=INPLACE 时，须要重建表，ALGORITHM=INSTANT 时不须要重建

  • ③ INSTANT算法：添加列时，使用 INSTANT 算法有下面这些限制

    • 添加列操做不能和其它不支持 INSTANT 算法的操做合并为一条 ALTER TABLE 语句
    • 新增的列只能添加到表的最后，不能放到其它列的前面，在 MariaDB 10.4 以后，支持在任意位置添加
    • 不能将列添加到 ROW_FORMAT=COMPRESSED 的表中
    • 不能将列添加到包含 FULLTEXT 的表中
    • 不能将列添加到临时表中，临时表只支持 ALGORITHM=COPY
    • 不能将列添加到驻留在数据字典表空间中的表中
    • 在添加列的时候不会计算行的大小限制，该限制在执行 DML 操做插入或者更新表时才会被检查
  • ④ 删除列时，大量的数据须要被从新组织，代价高昂，在 MariaDB 10.4 以后，删除列支持 INSTANT 算法
  • ⑤ 重命名列时，确保只改变列名，不改变数据类型，这样才能支持并发的 DML 操做

  • ⑥ 扩展 VARCHAR 长度时，INPLACE 是有条件的，必须保证用于标识字符串长度的长度字节不变（这里说的都是字节，不是 VARCHAR 的字符长度，字节占用与采用的字符集有关，utf8 字符集下，一个字符占 3 个字节， utf8mb4 则 4 个字节）

    • 当 VARCHAR 列长度在 0-255 个字节时，长度标识占用一个字节
    • 当 VARCHAR 列长度大于 255 个字节时，长度标识占用两个字节

所以，INPLACE 只支持 0-255 个字节之间或者 256 个字节到更大的长度之间的变动。VARCHAR 列长度减少是不支持 INPLACE 的。

  • ⑦ 自增列值变动是修改的内存中的值，不是数据文件
  • ⑧ ⑨ 设置列为 [NOT] NULL 时，大量的数据被从新组织，代价高昂
  • ⑩ 修改 ENUM 和 SET 类型的列定义时，是否须要表拷贝取决于已有元素的个数和插入成员的位置
  • ⑫ 在 MariaDB 10.4 以后，列排序支持 INSTANT 算法
  • ⑬ 在 MariaDB 10.4.3 以后，InnoDB 支持使用 INSTANT 算法增长列的长度，可是也有一些限制，具体参考 Changing the Data Type of a Column

生成列

操做 INSTANT INPLACE 重建表 并发 DML 只修改元数据
添加 STORED 列 ❌ ❌ ✅ ❌ ❌
修改 STORED 列的排序 ❌ ❌ ✅ ❌ ❌
删除 STORED 列 ❌ ✅ ✅ ✅ ❌
添加 VIRTUAL 列 ✅ ✅ ❌ ✅ ✅
修改 VIRTUAL 列的排序 ✅ ❌ ✅ ❌ ❌
删除 VIRTUAL 列 ✅ ✅ ❌ ✅ ✅

外键

操做 INSTANT INPLACE 重建表 并发 DML 只修改元数据
添加外键约束 ❌ ✅ ⑭ ❌ ✅ ✅
删除外键约束 ❌ ✅ ❌ ✅ ✅

说明：

  • ⑭ 添加外键时，只有当 foreign_key_checks 选项被禁用的时候才支持 INPLACE 算法

表

操做 INSTANT INPLACE 重建表 并发 DML 只修改元数据
修改 ROW_FORMAT ❌ ✅ ✅ ✅ ❌
修改 KEY_BLOCK_SIZE ❌ ✅ ✅ ✅ ❌
设置持久表统计信息 ❌ ✅ ❌ ✅ ✅
指定字符集 ❌ ✅ ✅ ⑮ ❌ ❌
转换字符集 ❌ ❌ ✅ ⑯ ❌ ❌
优化表 ❌ ✅ ⑰ ✅ ✅ ❌
使用 FORCE 选项重建表 ❌ ✅ ⑱ ✅ ✅ ❌
执行空的重建 ❌ ✅ ⑲ ✅ ✅ ❌
重命名表 ✅ ✅ ❌ ✅ ✅

说明：

  • ⑮⑯ 当字符集不一样时，须要重建表
  • ⑰⑱⑲ 若是表中包含 FULLTEXT 的字段，则不支持 INPLACE

表空间

操做 INSTANT INPLACE 重建表 并发 DML 只修改元数据
重命名常规表空间 ❌ ✅ ❌ ✅ ✅
启用或者禁用常规表空间加密 ❌ ✅ ❌ ✅ ❌
启用或者禁用 file-per-table 表空间加密 ❌ ❌ ✅ ❌ ❌

限制

  • 在临时表 TEMPORARY TABLE 上建立索引时会发生表拷贝
  • 若是表上有 ON...CASCADE 或者 ON...SET NULL 约束，则 ALERT TABLE 不支持字句 LOCK=NONE
  • 在 Onlne DDL 操做完成以前，它必须等待相关表已经持有元数据锁的事务提交或者回滚，在这个过程当中，相关表的新事务会被阻塞，没法执行

  • 当在大表上执行涉及到表重建的 DDL 时，会存在如下限制

    • 没有任何机制能够暂停 Online DDL操做或限制 Online DDL 操做的 I/O 或CPU使用率
    • 若是操做失败，则回滚 Online DDL操做的代价很是高昂
    • 长时间运行的 Online DDL 可能会致使复制延迟。 Online DDL 操做必须在 Master 上执行完成后才能在 Slave 上执行，在这个过程当中， 并发处理的 DML 在 Slave 上面必须等待 DDL 操做完成后才会执行。

写在最后

本文将会持续修正和更新，最新内容请参考个人 GITHUB 上的 程序猿成长计划 项目，欢迎 Star，更多精彩内容请 follow me。

参考

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程