MySQL在线DDL gh-ost 使用说明

背景：

      做为一个DBA，大表的DDL的变动大部分都是使用Percona的pt-online-schema-change，本文说明下另外一种工具gh-ost的使用：不依赖于触发器,是由于他是经过模拟从库,在row binlog中获取增量变动,再异步应用到ghost表的。在使用gh-ost以前，能够先看GitHub 开源的 MySQL 在线更改 Schema 工具【转】文章或则官网了解其特性和原理。本文只对使用进行说明。

说明：

1）下载安装：https://github.com/github/gh-ost/tags

2）参数说明：gh-ost --help

 View Code

3）使用说明：条件是操做的MySQL上须要的binlog模式是ROW。若是在一个从上测试也必须是ROW模式，还要开启log_slave_updates。根据上面的参数说明按照需求进行调整。

     环境：主库：192.168.163.131；从库：192.168.163.130

DDL过程：

① 检查有没有外键和触发器。
② 检查表的主键信息。
③ 检查是否主库或从库，是否开启log_slave_updates，以及binlog信息  
④ 检查gho和del结尾的临时表是否存在
⑤ 建立ghc结尾的表，存数据迁移的信息，以及binlog信息等    
---以上校验阶段
⑥ 初始化stream的链接,添加binlog的监听
---如下迁移阶段
⑥ 建立gho结尾的临时表，执行DDL在gho结尾的临时表上
⑦ 开启事务，按照主键id把源表数据写入到gho结尾的表上，再提交，以及binlog apply。
---如下cut-over阶段
⑧ lock源表，rename 表：rename 源表 to 源_del表，gho表 to 源表。
⑨ 清理ghc表。

1. 单实例上DDL： 单个实例至关于主库，须要开启--allow-on-master参数和ROW模式。

gh-ost --user="root" --password="root" --host=192.168.163.131  --database="test" --table="t1"  --alter="ADD COLUMN cc2 varchar(10),add column cc3 int not null default 0 comment 'test' " --allow-on-master  --execute

2. 主从上DDL：

有2个选择，一是按照1直接在主上执行同步到从上，另外一个链接到从库，在主库作迁移（只要保证从库的binlog为ROW便可，主库不须要保证）：

gh-ost --user="root" --password="root" --host=192.168.163.130  --database="test" --table="t" --initially-drop-old-table --alter="ADD COLUMN y1 varchar(10),add column y2 int not null default 0 comment 'test' "  --execute

此时的操做大体是：

• 行数据在主库上读写

• 读取从库的二进制日志，将变动应用到主库

• 在从库收集表格式，字段&索引，行数等信息

• 在从库上读取内部的变动事件（如心跳事件）

• 在主库切换表

在执行DDL中，从库会执行一次stop/start slave，要是肯定从的binlog是ROW的话能够添加参数：--assume-rbr。若是从库的binlog不是ROW，能够用参数--switch-to-rbr来转换成ROW，此时须要注意的是执行完毕以后，binlog模式不会被转换成原来的值。--assume-rbr和--switch-to-rbr参数不能一块儿使用。

3. 在从上进行DDL测试：

gh-ost --user="root" --password="root" --host=192.168.163.130  --database="test" --table="t"  --alter="ADD COLUMN abc1 varchar(10),add column abc2 int not null default 0 comment 'test' " --test-on-replica  --switch-to-rbr --execute

参数--test-on-replica：在从库上测试gh-ost，包括在从库上数据迁移(migration)，数据迁移完成后stop slave，原表和ghost表马上交换然后马上交换回来。继续保持stop slave，使你能够对比两张表。若是不想stop slave，则能够再添加参数：--test-on-replica-skip-replica-stop

上面三种是gh-ost操做模式，上面的操做中，到最后不会清理临时表，须要手动清理，再下次执行以前果真临时表还存在，则会执行失败，能够经过参数进行删除:

--initially-drop-ghost-table:gh-ost操做以前，检查并删除已经存在的ghost表。该参数不建议使用，请手动处理原来存在的ghost表。默认不启用该参数，gh-ost直接退出操做。

--initially-drop-old-table:gh-ost操做以前，检查并删除已经存在的旧表。该参数不建议使用，请手动处理原来存在的ghost表。默认不启用该参数，gh-ost直接退出操做。

--initially-drop-socket-file:gh-ost强制删除已经存在的socket文件。该参数不建议使用，可能会删除一个正在运行的gh-ost程序，致使DDL失败。

--ok-to-drop-table:gh-ost操做结束后，删除旧表，默认状态是不删除旧表，会存在_tablename_del表。

还有其余的一些参数，好比：--exact-rowcount、--max-lag-millis、--max-load等等，能够看上面的说明，具体大部分经常使用的参数命令以下：

gh-osc --user= --password= --host= --database= --table= --max-load=Threads_running=30, --chunk-size=1000 --serve-socket-file=/tmp/gh-ost.test.sock --exact-rowcount --allow-on-master/--test-on-replica --initially-drop-ghost-table/--initially-drop-old-table/--initially-drop-socket-file --max-lag-millis= --max-load='Threads_running=100,Threads_connected=500' --ok-to-drop-table

4）额外说明：终止、暂停、限速

gh-ost --user="root" --password="root" --host=192.168.163.131  --database="test" --table="t1"  --alter="ADD COLUMN o2 varchar(10),add column o1 int not null default 0 comment 'test' " --exact-rowcount --serve-socket-file=/tmp/gh-ost.t1.sock --panic-flag-file=/tmp/gh-ost.panic.t1.flag  --postpone-cut-over-flag-file=/tmp/ghost.postpone.t1.flag --allow-on-master  --execute

① 标示文件终止运行：--panic-flag-file

建立文件终止运行，例子中建立/tmp/gh-ost.panic.t1.flag文件，终止正在运行的gh-ost，临时文件清理须要手动进行。

② 表示文件禁止cut-over进行，即禁止表名切换，数据复制正常进行。--postpone-cut-over-flag-file

建立文件延迟cut-over进行，即推迟切换操做。例子中建立/tmp/ghost.postpone.t1.flag文件，gh-ost 会完成行复制，但并不会切换表，它会持续的将原表的数据更新操做同步到临时表中。

③ 使用socket监听请求，操做者能够在命令运行后更改相应的参数。--serve-socket-file，--serve-tcp-port（默认关闭）

建立socket文件进行监听，经过接口进行参数调整，当执行操做的过程当中发现负载、延迟上升了，不得不终止操做，从新配置参数，如 chunk-size，而后从新执行操做命令，能够经过scoket接口进行动态调整。如：

暂停操做：

#暂停
echo throttle | socat - /tmp/gh-ost.test.t1.sock
#恢复
echo no-throttle | socat - /tmp/gh-ost.test.t1.sock

修改限速参数：

echo chunk-size=100 | socat - /tmp/gh-ost.t1.sock

echo max-lag-millis=200 | socat - /tmp/gh-ost.t1.sock

echo max-load=Thread_running=3 | socat - /tmp/gh-ost.t1.sock

 4）和pt-online-schema-change对比测试

 1. 表没有写入而且参数为默认的状况下，两者DDL操做时间差很少，毕竟都是copy row操做。

 2. 表有大量写入(sysbench)的状况下，由于pt-osc是多线程处理的，很快就能执行完成，而gh-ost是模拟“从”单线程应用的，极端的状况下，DDL操做很是困难的执行完毕。

 结论：虽然pt-osc不须要触发器，对于主库的压力和性能影响也小不少，可是针对高并发的场景进行DDL效率仍是比pt-osc低，因此仍是须要在业务低峰的时候处理。相关的测试能够看gh-ost和pt-osc性能对比。

 5）封装脚本：

环境：M：192.168.163.131（ROW），S：192.168.163.130/132

封装脚本：gh-ost.py

 View Code

运行：

 View Code

总结：

gh-ost 放弃了触发器，使用 binlog 来同步。gh-ost 做为一个假装的备库，能够从主库/备库上拉取 binlog，过滤以后从新应用到主库上去，至关于主库上的增量操做经过 binlog 又应用回主库自己，不过是应用在幽灵表上。

gh-ost 首先链接到主库上，根据 alter 语句建立幽灵表，而后做为一个”备库“链接到其中一个真正的备库上，一边在主库上拷贝已有的数据到幽灵表，一边从备库上拉取增量数据的 binlog，而后不断的把 binlog 应用回主库。图中 cut-over 是最后一步，锁住主库的源表，等待 binlog 应用完毕，而后替换 gh-ost 表为源表。gh-ost 在执行中，会在本来的 binlog event 里面增长如下 hint 和心跳包，用来控制整个流程的进度，检测状态等。这种架构带来诸多好处，例如：

• 整个流程异步执行，对于源表的增量数据操做没有额外的开销，高峰期变动业务对性能影响小。
• 下降写压力，触发器操做都在一个事务内，gh-ost 应用 binlog 是另一个链接在作。
• 可中止，binlog 有位点记录，若是变动过程发现主库性能受影响，能够马上中止拉binlog，中止应用 binlog，稳定以后继续应用。
• 可测试，gh-ost 提供了测试功能，能够链接到一个备库上直接作 Online DDL，在备库上观察变动结果是否正确，再对主库操做，内心更有底。

 

参考文档：

https://github.com/github/gh-ost

GitHub 开源的 MySQL 在线更改 Schema 工具

Online DDL 工具 gh-ost 支持阿里云 RDS

gh-ost：不同的在线表结构变动

GitHub开源MySQL Online DDL工具gh-ost参数解析