实际问题系列：咱们是如何优雅修改正式环境的表结构，而不影响线上运行

这是我参与8月更文挑战的第5天，活动详情查看：8月更文挑战

在上一篇中介绍了如何优化慢sql,提升应用的速度，详细的请移步优化系统慢查询

文中案例说明须要在大表中添加一个字段group_id,表中有个1千万的数据量，并且有几个索引字段，若是直接在客户端经过sql ALTER TABLE h_app_message ADD group_id bigint(20) 会形成数据库卡顿，耗费时间很长,直接影响线上正常使用。

通常对于较大数据量的修改方式，若是线上并发不是很高的状况下是能够手动处理的，方式以下：

• 首先备份，备份，备份，重要的事情说三遍
• 删除表中的索引
• 修改表结构
• 修复数据
• 恢复索引
• 表结构修改完成

咱们的处理方式是经过pt-online-schame-change 工具在线修改正式环境的字段，添加group_id。

此工具的好处:

下降主从延时的风险
能够限速、限资源，避免操做时MySQL负载太高
复制代码

建议:

在业务低峰期作，将影响降到最低
复制代码

直接原表修改缺点：

当表的数据量很大的时候，若是直接在线修改表结构，严重影响线上环境，并且耗时不可预估
复制代码

注意：

须要确认表必须包含主键或者惟一索引

工具会建立触发器，因此原表上不能有触发器

有外键的表须要注意使用参数--alter-foreign-keys-method(如今业务上不建议表中外键关联，建议在业务中控制)

原理:

• 首先它会新建一张如出一辙的表，表名通常是_new后缀
• 而后在这个新表执行更改字段操做
• 而后在原表上加三个触发器，DELETE/UPDATE/INSERT，将原表中要执行的语句也在新表中执行
• 最后将原表的数据拷贝到新表中，而后替换掉原表

1. 数据备份

不管操做多么有把握，也要把备份作好(万一很可怕的)

2. 安装

下载安装包：

wget  https://downloads.percona.com/downloads/percona-toolkit/3.3.1/source/tarball/percona-toolkit-3.3.1.tar.gz
复制代码

解压：

tar -xvf percona-toolkit-3.3.1.tar.gz
复制代码

安装一些依赖包：

yum install perl-DBIyum install perl-DBD-MySQLyum install perl-Time-HiResyum install perl-IO-Socket-SSLyum -y install perl-Digest-MD5
复制代码

3. 测试可用

在解压包的bin目录下执行,看是否正常，查看命令

./pt-online-schema-change --help
复制代码

4. 参数字段及含义

参数	含义
--user=	链接用户名
--password=	链接密码
--host=	链接IP
P=	端口
--alter=	执行表变动的语句
D=	database 库名
t=	table 表名
--charset=utf8	使用utf8编码，避免中文乱码
--no-check-alter	不检查alter语句
--print	打印操做日志
--execute	执行修改表结构，真正的执行alter，–dry-run与–execute必须指定一个，两者相互排斥
–dry-run	建立和修改新表，但不会建立触发器、复制数据、和替换原表。并不真正执行，与--print配合查看执行细节

5. 具体操做

1. 添加一个字段

若是执行失败，检查alter语句，若是确认无误 能够避免检查 --no-check-alter

./pt-online-schema-change --user=xxxx --password=xxxx --host=xxx.xxx.xxx.xxxx --alter "add column group_id bigint(20) not NULL default '0' comment 'test' " P=30306,D=h_pushcenter,t=h_message --charset=utf8 --no-version-check --print --execute
复制代码

2. 修改字段

sql语句：

ALTER TABLE `h_message` MODIFY COLUMN `group_id` int(20)  NOT NULL DEFAULT '1';ALTER TABLE `h_message` MODIFY COLUMN `group_id` int(20)  NOT NULL DEFAULT '1';
复制代码

pt命令:

--alter "MODIFY COLUMN group_id int(20) NOT NULL DEFAULT '1'"
复制代码

3. 修改字段名

sql语句: 

ALTER TABLE `h_message` CHANGE column group_id group_id_0 bigint(20);
复制代码

pt命令:

--alter "CHANGE group_id group_id_0 bigint(20)"
复制代码

4. 添加索引

sql语句:

ALTER TABLE `h_message` ADD INDEX h_message_n1(group_id);
复制代码

pt命令：

--alter "ADD INDEX h_message_n1(group_id)"
复制代码

6. 操做日志

• 建立new结尾的新表

Creating new table...
CREATE TABLE `h_pushcenter`.`_h_message_new` .....
Created new table h_pushcenter._h_message_new OK.
复制代码

• 新表执行alter操做

Altering new table...
ALTER TABLE `h_pushcenter`.`_h_message_new` add column  group_id bigint(20) not NULL default '0'  comment 'test'
Altered `h_pushcenter`.`_h_message_new` OK.
复制代码

• 原表上建立3个触发器

Creating triggers...
Event : DELETE
Event : UPDATE
Event : INSERT
Created triggers OK.
复制代码

• 复制数据到新表

Copying approximately 8187 rows...
Copied rows OK.
复制代码

• 重命名新旧两个表，而后替换，删除旧表

2021-05-19T10:33:08 Swapping tables...
RENAME TABLE `h_pushcenter`.`h_message` TO `h_pushcenter`.`_h_message_old`, `h_pushcenter`.`_h_message_new` TO `h_pushcenter`.`h_message`
2021-05-19T10:33:09 Swapped original and new tables OK.
2021-05-19T10:33:09 Dropping old table...
DROP TABLE IF EXISTS `h_pushcenter`.`_h_message_old`
2021-05-19T10:33:09 Dropped old table `h_pushcenter`.`_h_message_old` OK.
复制代码

• 删除触发器

2021-05-19T10:33:09 Dropping triggers...
DROP TRIGGER IF EXISTS `h_pushcenter`.`pt_osc_h_pushcenter_h_message_del`
DROP TRIGGER IF EXISTS `h_pushcenter`.`pt_osc_h_pushcenter_h_message_upd`
DROP TRIGGER IF EXISTS `h_pushcenter`.`pt_osc_h_pushcenter_h_message_ins`
2021-05-19T10:33:09 Dropped triggers OK.
复制代码

• 打完收工

以上就是正式环境大数据表结构修改操做的使用方式，大家是怎么处理大表结构修改的呢，欢迎留言告知， 有问题欢迎留言告知！