MySQL数据归档小工具推荐--mysql_archiver

一.主要概述

MySQL数据库归档历史数据主要能够分为三种方式：一.建立编写SP、设置Event；二.经过dump导入导出；三.经过pt-archiver工具进行归档。第一种方式每每受限于同实例要求，每每被你们舍弃。第二种，性能相对较好，可是归档表较多时运维也是比较头疼的事。因此不少DBA每每采用第三种方式--pt-archiver。

pt-archiver是Percona-Toolkit工具集中的一个组件，是一个主要用于对MySQL表数据进行归档和清除的工具。它能够将数据归档到另外一张表或者是一个文件中。pt-archiver在清除表数据的过程当中并不会影响OLTP事务的查询性能。对于数据的归档，它能够归档到另外一台服务器上的另外一张表，也可归档到一个文件中。

有一个网友经过Python开发了将pt-archiver打包成了一个小工具—mysql_archiver，它基本实现了归档做业的配置化部署，使用起来挺不错。"MySQL_archiver基本上实现了数据归档的自动运转，统一的归档任务调度管理、自动监控和预警、自动生成报表。在必定程度上节约了生产力，提升了运维效率。"

github地址：https://github.com/dbarun/mysql_archiver

 

二.pt-archiver主要参数

参数	默认值	参数解释
--check-slave-lag		指定主从复制延迟大于选项'--max-lag'指定的值以后暂停归档操做。默认状况下，工具会检查全部的从库，但该选项只做用于指定的从库(经过DSN链接方式)。
--check-interval	1s	若是同时指定了选项'--check-slave-lag'，则该选项指定的时间为工具发现主从复制延迟时暂停的时间。每进行操做100行时进行一次检查。
--[no]check-charset	yes	指定检查确保数据库链接时字符集和表字符集相同。
--commit-each		指定按每次获取和归档的行数进行提交，该选项会禁用选项'--txn-size'。 在每次获取表数据并进行归档以后，在获取下一次数据和选项'--sleep'指定的休眠时间以前，进行事务提交和刷新选项'--file'指定的文件，经过选项'--limit'控制事务的大小。
--host，-h		指定链接的数据库IP地址。
--port，-P		指定链接的数据库Port端口。
--user，-u		指定链接的数据库用户。
--password，-p		指定链接的数据库用户密码。
--socket，-S		指定使用SOCKET文件链接。
--databases，-d		指定链接的数据库
--source		指定须要进行归档操做的表，该选项是必须指定的选项，使用DSN方式表示。
--dest		指定要归档到的目标端表，使用DSN方式表示。 若是该选项没有指定的话，则默认与选项'--source'指定源端表为相同表。
--where		指定经过WHERE条件语句指定须要归档的数据，该选项是必须指定的选项。不须要加上'WHERE'关键字，若是确实不须要WHERE条件进行限制，则指定'--where 1=1'。
--file		指定表数据须要归档到的文件。使用相似MySQL DATE_FORMAT()格式化命名方式。 文件内容与MySQL中SELECT INTO OUTFILE语句使用相同的格式，文件命名选项以下所示： ' %Y：年，4位数(Year, numeric, four digits) %m：月，2位数(Month, numeric (01..12)) %d：日，2位数(Day of the month, numeric (01..31)) %H：小时(Hour (00..23)) %i：分钟(Minutes, numeric (00..59)) %s：秒(Seconds (00..59)) %D：数据库名(Database name) %t：表名(Table name) 例如：--file '/var/log/archive/%Y-%m-%d-%D.%t' '
--output-format		指定选项'--file'文件内容输出的格式。 默认不指定该选项是以制表符进行字段的分隔符，若是指定该选项，则使用','(逗号)做为字段分隔符，使用'"'(双引号)将字段括起。用法示例：'--output-format=dump'。
--limit	1	指定每条语句获取表和归档表的行数。
--max-lag	1s	指定容许主从复制延迟时长的最大值，单位秒。若是在每次获取行数据以后主从延迟超过指定的值，则归档操做将暂停执行，暂停休眠时间为选项'--check-interval'指定的值。待休眠时间结束以后再次检查主从延迟时长，检查方法是经过从库查询的'Seconds_Behind_Master'值来肯定。若是主从复制延迟一直大于该参数指定值或者从库中止复制，则操做将一直等待直到从库从新启动而且延迟小于该参数指定值.
--no-delete		指定不删除已被归档的表数据。
--progress		指定每多少行打印进度信息，打印当前时间，已用时间以及多少行进行归档。
--purge		指定执行的清除操做而不是归档操做。容许忽略选项'--dest'和'--file'进行操做，若是只是清除操做能够结合选项'--primary-key-only'会更高效。
--replace		指定写入选项'--dest'指定目标端表时改写INSERT语句为REPLACE语句。
--retries	1	指定归档操做遇到死锁或超时的重试次数。当重试次数超过该选项指定的值时，工具将报错退出。
--run-time		指定工具归档操做在退出以前须要运行的时间。容许的时间后缀名为s=秒，m=分，h=小时，d=天，若是没指定，默认为s。
--[no]safe-auto-increment	yes	指定不使用自增列(AUTO_INCREMENT)最大值对应的行进行归档。 该选项在进行归档清除时会额外添加一条WHERE子句以防止工具删除单列升序字段具备的具备AUTO_INCREMENT属性最大值的数据行，为了在数据库重启以后还能使用到AUTO_INCREMENT对应的值，但这会引发没法归档或清除字段对应最大值的行。
--sleep		指定工具在经过SELECT语句获取归档数据须要休眠的时间，默认值是不进行休眠。在休眠以前事务并不会提交，而且选项'--file'指定的文件不会被刷新。若是指定选项'--commit-each'，则在休眠以前会进行事务提交和文件刷新。
--statistics		指定工具收集并打印操做的时间统计信息。
--txn-size	1	指定每一个事务处理的行数。若是是0则禁用事务功能。
--why-quit		指定工具打印当非因完成归档行数退出的缘由。 在执行一个自动归档任务时该选项与选项'--run-time'一块儿使用很是方便，这样能够肯定归档任务是否在指定的时间内完成。若是同时指定了选项'--statistics'，则会打印全部退出的缘由。
--skip-foreign-key-checks		指定使用语句SET FOREIGN_KEY_CHECKS = 0禁用外键检查。

 

三,安装部署mysql_archiver常见错误

1. 执行python db_archive_exec.py 127.0.0.1 db123 报错

Traceback (most recent call last):
  File "/data/mysql_archiver/mysql_archiver-master/db_archive_exec.py", line 7, in <module>
    import db_conn
  File "/data/mysql_archiver/mysql_archiver-master/db_conn.py", line 4, in <module>
    import MySQLdb
ImportError: No module named MySQLdb

 解决方案:

Step 1 基础环境

rm -rf /etc/yum.repos.d/epel*
yum install postgresql-devel python3-devel postgresql-devel python-devel

Step 2 安装setuptools

（1）    下载    setuptools-39.2.0.zip
（2）    解压安装 python setup.py build
                python setup.py install

step 3 安装pip

（1）    下载 pip-1.5.4.tar.gz
（2）    安装 python setup.py install

step 4 安装MySQL-python

yum install MySQL-python

 

2.报错缺乏pt-archiver工具

sh: pt-archiver: command not found

解决方案：

下载percona-toolkit-3.2.1_x86_64.tar.gz,安装，而且设置个软链接。

例如:

ln -s /data/mysql_archiver/percona-toolkit-3.2.1/bin/pt-archiver /usr/local/bin/pt-archiver

 

3.缺乏文档

<type 'exceptions.Exception'>
[Errno 2] No such file or directory: u'/software/python_script/db_archive_XXXXdb_XXXtablename.log'

解决方案:

建立文档: /software/python_script

 

4.字符集问题

Character set mismatch: --source DSN uses utf8, table uses utf8mb4.  You can disable this check by specifying --no-check-charset.

解决方案:

修改db_archive_exec.py可执行文件，针对pt-archiver添加参数 --no-check-charset

 

 5.参数设置报错

Usage: pt-archiver [OPTIONS] --source DSN --where WHERE

Errors in command-line arguments:
  * --txn-size and --commit-each are mutually exclusive.

pt-archiver nibbles records from a MySQL table.  The --source and --dest
arguments use DSN syntax; if COPY is yes, --dest defaults to the key's value
from --source.  For more details, please use the --help option, or try 'perldoc
/usr/local/bin/pt-archiver' for complete documentation.

 解决方案:

pt-archiver去掉参数 --commit-each

 

 6.Cannot find encoding "utf8mb4"

报错信息:

Cannot find encoding "utf8mb4" at /usr/local/bin/pt-archiver line 6711.

 解决方案:

pt-archiver去掉参数 --bulk-insert --bulk-delete

 

四.主要参考资料

1.MySQL数据归档实战-Python和pt-archiver的强强结合

https://blog.csdn.net/n88lpo/article/details/78905528?utm_medium=distribute.pc_relevant.none-task-blog-baidulandingword-14&spm=1001.2101.3001.4242

2.MySQL数据归档小工具

https://github.com/dbarun/mysql_archiver#readme

3.在linux下安装MySQLdb及基本操做

https://www.cnblogs.com/blogsme/archive/2012/12/12/2814588.html

4.pt工具之pt-archiver

https://www.cnblogs.com/yhq1314/p/10601801.html

5.linux下pip的安装步骤及使用详解

https://www.jb51.net/article/118035.htm

6.Percona-Toolkit 之 pt-archiver 总结

https://www.cnblogs.com/dbabd/p/10721857.html