pt-online-schema-change工具使用教程（在线修改大表结构）

 

percona-toolkit中pt-online-schema-change工具安装和使用

 

pt-online-schema-change介绍

使用场景：在线修改大表结构

在数据库的维护中，总会涉及到生产环境上修改表结构的状况，修改一些小表影响很小，而修改大表时，每每影响业务的正常运转，如表数据量超过500W，1000W，甚至过亿时

在线修改大表的可能影响
（1）在线修改大表的表结构执行时间每每不可预估，通常时间较长
（2）因为修改表结构是表级锁，所以在修改表结构时，影响表写入操做
（3）若是长时间的修改表结构，中途修改失败，因为修改表结构是一个事务，所以失败后会还原表结构，在这个过程当中表都是锁着不可写入
（4）修改大表结构容易致使数据库CPU、IO等性能消耗，使MySQL服务器性能下降
（5）在线修改大表结构容易致使主从延时，从而影响业务读取

工具介绍
pt-online-schema-change是percona公司开发的一个工具，在percona-toolkit包里面能够找到这个功能，它能够在线修改表结构

原理:
（1）首先它会新建一张如出一辙的表，表名通常是_new后缀
（2）而后在这个新表执行更改字段操做
（3）而后在原表上加三个触发器，DELETE/UPDATE/INSERT，将原表中要执行的语句也在新表中执行
（4）最后将原表的数据拷贝到新表中，而后替换掉原表

这个过程当中有两个问题须要注意：
1. 触发器
由于整个过程是在线的，为了将改表过程当中对原始表的更新同时更新到新表上，会建立相应的触发器，每当发生针对原始表的增删改操做，就会触发对新表的相应的操做。因此原始表上不能有其余触发器，即若是原始表上存有触发器，OSC会罢工的。

2. 外键
外键使改表操做变得更加复杂，若是原始表上有外键的话，自动rename原始表和新表的操做就不能顺利进行，必需要在数据拷贝完成后将外键更新到新表上，该工具备两种方法来支持这个操做，具体使用参数（--alter-foreign-keys-method）实现。

--alter-foreign-keys-method
外键改表先后必须持续的连接正确的表，当该工具rename原始表并用新表来取代原始表时，外键必须正确更新到新表上，而且原始表中的外键再也不生效

外键会使该工具的操做变得复杂并引入额外风险。当有外键引用该表时，重命名原表和新表的原子操做将没法正常运行。在表结构修改完成后，该工具必须修改外键以指向新表。该工具支持两种方式实现该操做，具体可参考--alter-foreign-keys-method文档。外键也会形成一些反作用。最终的表将会有与原表相同的外键和索引(除非你在ALTER语句进行分别指定)，但对象的名称可能会被略微修改以免MySQL和InnoDB中的对象名称冲突。

出于安全考虑，该工具并不会真的修改表，除非你指定--execute选项，而该选项默认并未启用。该工具支持各类各样的其它措施以防止非预期的负载或其它问题，包括自动检测从节点，链接到它们，并使用以下安全检查：
（1）在大多状况下，除非表中有PRIMARY KEY或UNIQUE INDEX，该工具才会进行操做。详见--alter选项。
（2）若是检测到有replication filter，该工具会拒绝操做。详见--[no]check-replication-filters选项。
（3）该工具会中止数据拷贝操做，若是它观察到主从延迟大于--max-lag选项的值，默认为1s。
（4）该工具会中止或放弃操做，若是它检测到对服务器形成太多负载。见--max-load和--critical-load选项。
（5）该工具会设置innodb_lock_wait_timeout=1和(对于MySQL 5.5及更新的版本)lock_wait_timeout=60，所以它会更容易成为锁竞争的受害者，并更少破坏其它事务。这些值能够经过指定--set-vars来修改。
（6）该工具会拒绝修改表，若是外键约束有引用它，除非你指定了--alter-foreign-keys-method。

好处:

下降主从延时的风险

能够限速、限资源，避免操做时MySQL负载太高

建议:

在业务低峰期作，将影响降到最低

 

 

percona-toolkit安装

1.去官网下载对应的版本，官网下载地址:https://www.percona.com/downloads/percona-toolkit/LATEST/

wget https://www.percona.com/downloads/percona-toolkit/3.1/binary/redhat/7/x86_64/percona-toolkit-3.1-1.el7.x86_64.rpm

2.安装依赖

yum -y install perl-DBI perl-DBD-MySQL perl-Digest-MD5 perl-IO-Socket-SSL perl-TermReadKey

3.安装

rpm -ivh percona-toolkit-3.1-1.el7.x86_64.rpm

或者直接使用yum安装
使用yum会自动安装依赖包，比较简单

yum install -y percona-toolkit-3.0.12-1.el6.x86_64.rpm

验证

pt-online-schema-change --help

 

 

pt-online-schema-change使用

修改表结构而不阻塞读写操做
./bin/pt-online-schema-change --help 能够查看参数的使用

DNS选项经常使用的有：
--user= 链接mysql的用户名
--password= 链接mysql的密码
--host= 链接mysql的地址
P=3306 链接mysql的端口号
D= 链接mysql的库名
t= 链接mysql的表名
--alter 修改表结构的语句
--execute 执行修改表结构
--charset=utf8 使用utf8编码，避免中文乱码
--no-version-check 不检查和更新percona toolkit版本，也不检查mysql版本等。

案例：

添加表字段SQL语句为：ALTER TABLE test.liu_test ADD COLUMN liu int(10) DEFAULT NULL;

pt-online-schema-change   --user=root --password=xxx  --host=172.16.xx.xx  P=3306,D=test,t=liu_test  --charset=utf8 --no-version-check --execute --alter "ADD COLUMN  liu int(10) DEFAULT NULL"

 

参考官网：https://www.percona.com/doc/percona-toolkit/LATEST/pt-online-schema-change.html