数据一致性校验及数据同步,运维必看

    主从数据不一致对DBA来讲是一个比较头疼的事情，刚接触MySQL时，遇到这种问题我通常采用从新还原备库的方式恢复数据，这对我来讲是个很痛苦的过程。今天就来介绍两款pt工具，经过这两款工具能够针对数据不一致的状况进行快速检测和修复。

pt-table-checksum

    pt-table-checksum能够在线校验主从数据库的一致性，他能够在主库上执行检查语句，在线检查MySQL复制的一致性，而后生成replace语句，经过复制传递到从库，再更新master_crc的值。最后 经过检测从服务器的this_crc和master_crc的值判断主从数据是否一致。 如 果复制有延迟，在从库的checksum会暂停直到遇上主库的计算时间点。

注意事项：

1. 主从数据库必须是同步状态。

2. 表中要有主键或者惟一索引。

使用示例

1. 首先咱们先建立一个校验用户

mysql> grant select,insert,update,delete,create,drop,super,process,replication slave on *.* to 'syncuser'@'%' identified by 'Syncuser@123';

2. 经过pt-table-checksum命令对主从数据进行校验。

[root@node1 ~]# pt-table-checksum -usyncuser -pSyncuser@123 --nocheck-replication-filters --no-check-binlog-format --databases=test --replicate=test.checksums --create-replicate-tableChecking if all tables can be checksummed ...Starting checksum ... TS ERRORS DIFFS ROWS DIFF_ROWS CHUNKS SKIPPED TIME TABLE09-04T21:36:43 0 0 0 0 1 0 0.089 test.efs_sys_loginfo409-04T21:36:43 0 0 1006 0 1 0 0.089 test.groupby09-04T21:36:43 0 0 0 0 1 0 0.030 test.groupby109-04T21:36:43 0 1 1006 0 1 0 0.030 test.groupby209-04T21:36:43 0 0 7 0 1 0 0.030 test.student09-04T21:36:43 0 0 7 0 1 0 0.032 test.student109-04T21:36:43 0 1 0 8 1 0 0.034 test.t09-04T21:36:43 0 0 57344 0 4 0 0.328 test.t109-04T21:36:43 0 1 1 0 1 0 0.028 test.test09-04T21:36:43      0      0        8          0       1       0   0.036 test.tuser

3. 参数详解

--nocheck-replication-filters：不检查复制的过滤规则，好比replicate-ignore-db、replicate-wild-do-table。

--no-check-binlog-format：不检查复制的binlog模式，若是binlog模式是row模式，须要启用该参数。

--create-replicate-table：第一次进行checksum须要启用该参数，会进行checksum表的建立，用于存放结果。

--replicate=test.checksums：存放checksum结果的表。

--databases：表示要检查的库。

--tables(-t):表示要检查的表。

--replicate-check-only：表示只显示不一样步的表。

--recursion-method：正常状况下工具会自动识别从库，若是识别失败，能够用该参数 指定查找slave的方法，参数有四种，分别是processlist、hosts、dsn=DSN、no四种，用来决定查找slave的方式是经过show processlist、show slave hosts仍是经过dsn=DSN的方式。

采用dsn=DSN方式时须要先建立dsn表，建表语句以下：

CREATE TABLE `dsns` (`id` int(11) NOT NULL AUTO_INCREMENT,`parent_id` int(11) DEFAULT NULL,`dsn` varchar(255) NOT NULL,PRIMARY KEY (`id`));

而后插入主从复制关系：

insert into dsns(dsn) values('h=36.30.39.176,u=syncuser,p=Syncuser@123,P=3306');

这样就能够采用dsn方式了，--recursion-method dsn=D=test,t=dsns。

4. 结果分析

TS ERRORS DIFFS ROWS DIFF_ROWS CHUNKS SKIPPED TIME TABLE09-04T22:29:52 0 0 1 0 1 0 0.029 test.dsnsTS:完成检查的时间ERRORS：错误和告警的数量。DIFFS：是否一致，0表明一致，1表明不一致。ROWS：表的行数DIFF_ROWS：CHUNKS：划分的块的数目SKIPPED：跳过的块的数目TIME：执行时长TABLE：表名

pt-table-sync

    咱们上面介绍了pt-table-checksum能够检查主从数据的一致性，接下来咱们就来讲一下如何进行主从数据的同步。参考官方文档时就已经晕了，写出来以后不免有纰漏之处，还请读者朋友多多批评指正。

    该工具采用replace into的方式同步数据，建议同步的表上要有主键或者惟一索引，不然replace into就和普通的insert语句同样了，会致使主库出现数据重复的状况。若是表上没有主键，变动须要再从库执行命令，而且指定--no-check-slave。

    该工具能够以两种方式运行，当使用--replicate参数时，会使用由pt-table-checksum命令检测的结果进行同步，不然它会自动检测不一致而且修复。

    当你使用了--replicate时，说明已经经过checksum工具检测出差别并保存在数据表里了，须要肯定是否使--sync-to-master选项，若是使用该选项，则表示在使用pt-table-sync时仅接受一个DSN主机，而且是slave的DSN。工具会自动找出它的主库，找出差别进行同步。

若是你没有指定--sync-to-master参数，则DSN表明的是主库，工具会自动它的从库进行数据同步。

    若是不使用--replicate，则分为如下几种状况：

当只有一个DSN信息时，而且指定了--sync-to-master，那么DSN信息必须是从库，不然会报错。

当有多个DSN主机时，第一个DSN是源端数据库，这时候并不区分主库或者从库，它会按照顺序向后面的DSN主机同步数据。

使用示例：

1. 在上面的例子中，咱们已经经过pt-table-checksum检测出主从的不一致的表，接下来我

们开始进行同步。下面的命令中指定了--replicate，而且未指定--sync-to-master，则-h表明主库。

pt-table-sync h=36.30.39.117,P=3306,u=syncuser,p=Syncuser@123 --database=test --replicate='test.checksums' --execute

2. 同时指定--replicate和--sync-to-master，DSN只能有一个，且为从库。

pt-table-sync h=36.30.39.176,P=3306,u=syncuser,p=Syncuser@123 --database=test --tables=t1 --replicate='test.checksums' --sync-to-master --execute

3. 若是只指定一个DSN，那么必须使用--replicate或者--sync-to-master中的一个，不然报错： At least one  DSN is required, and at least two are required unless --sync-to-master or --replicate is specified。 这里咱们指定了--sync-to-master，那么DSN信息就表明了从库。

pt-table-sync h=36.30.39.176,u=syncuser,p=Syncuser@123,D=test,t=t1 --sync-to-master --execute

4. 当有多个DSN时，若是指定了--sync-to-master,那么全部的主机均为从库。不然报错：

Can't determine master of D=test,h=…..,p=...,t=t1,u=syncuser at /usr/bin/pt-table-sync line 10020.         

pt-table-sync h=36.30.39.176,u=syncuser,p=Syncuser@123,D=test,t=t1 h=36.30.39.213,u=syncuser,p=Syncuser@123,D=test,t=t1 --sync-to-master --execute

5. 多个DSN，不指定--sync-to-master和--replicate，若是须要修复从库的数据须要指定

--no-check-slave。

pt-table-sync h=36.30.39.117,u=syncuser,p=Syncuser@123,D=test,t=t1 h=36.30.39.176,u=syncuser,p=Syncuser@123 h=36.30.39.213,u=syncuser,p=Syncuser@123 --no-check-slave –execute

参数详解：

--ask-pass： 链接MySQL时提示输入密码。

--[no]bin-log： 指定是否记录二进制日志，若是是--no-bin-log至关于执行了set sql_log_bin=0.

--[no]check-slave： 检测目标服务器是不是从库。若是目标服务器是从库的话，直接对其变动是不安全的，可是有时候必需要这么作，因此此时须要指定参数--no-check-slave。

--chunk-size： 指定表分块的chunk大小。

--dry-run： 分析同步的过程，并打印出信息退出，并不实际执行。

--execute： 指定工具执行变动操做，使表数据达成一致。

--print： 打印出工具须要执行哪些语句来变动表。

--wait： 若是存在主从延迟，从库能够等待多长时间追上主库，等待的时间由该参数设置，超时会终止退出。

DSN选项：

DSN syntax is key=value[,key=value...] Allowable DSN keys: KEY MEANING === ============================================= A 指定字符集 D 同步的数据库 P 端口 S Socket文件 h 要链接的host p 数据库密码 t 要同步的表 u 数据库用户

注意事项及建议

1. 当出现主从不一致时，咱们须要判断哪一个库的数据是正确的，大多数状况咱们但愿在主库执行变动而且同步到从库。

2. 建议要同步的表要有主键，避免出现数据重复的问题。

3. 执行变动命令前先经过--print或者--dry-run进行检查。

4. 使用多个DSN选项时，按照数据同步方向填写主机信息，若是有从库须要配合--no-check-slave参数使用。

5. 该工具在进行校验分析时会对表执行for update操做，避免在业务高峰期进行。

本文分享自微信公众号 - MySQL数据库技术栈（Mysqltechnology）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。