percona-toolkit工具的使用

percona-toolkit是一组高级命令行工具的集合，能够查看当前服务的摘要信息，磁盘检测，分析慢查询日志，查找重复索引，实现表同步等等

percona-toolkit 源自 Maatkit 和 Aspersa 工具，这两个工具是管理 mysql 的最有名的 工具，如今 Maatkit 工具已经不维护了，请你们仍是使用 percona-toolkit 吧！这些 工具主要包括开发、性能、配置、监控、复制、系统、实用六大类，做为一个优秀 的 DBA，里面有的工具很是有用，若是能掌握并加以灵活应用，将能极大的提升工 做效率。

一、安装

需求

 * Perl v5.8 or newer
 * Bash v3 or newer
 * Core Perl modules like Time::HiRes

yum -y install  perl-DBI  perl-DBD-MySQL  perl-TermReadKey perl-devel perl-Time-HiRes
cd /usr/local/src/
wget https://www.percona.com/downloads/percona-toolkit/2.2.15/deb/percona-toolkit_2.2.15-2.tar.gz
tar -zxf percona-toolkit_2.2.15-2.tar.gz
cd percona-toolkit-2.2.15/
chmod +x Makefile.PL
perl Makefile.PL
make && make install
ln -s /usr/bin  /usr/local/bin/*

 

二、介绍

1）pt-duplicate-key-checker

功能为从 mysql 表中找出重复的索引和外键，这个工具会将重复的索引和外键都列出来，并生成了删除重复索引的语句，很是方便

pt-duplicate-key-checker --h localhost --u root --p 123456 -d test

2）pt-online-schema-change

功能为在 alter 操做更改表结构的时候不用锁定表，也就是说执行 alter 的时候不会阻塞写和读取操做，注意执行这个工具的时候必须 作好备份

官方文档 http://www.percona.com/doc/percona-toolkit/2.1/pt-online-schema-ch ange.html

工做原理是建立一个和你要执行 alter 操做的表同样的空表结构，执 行表结构修改，而后从原表中 copy 原始数据到表结构修改后的表， 当数据 copy 完成之后就会将原表移走，用新表代替原表，默认动做 是将原表 drop 掉。在 copy 数据的过程当中，任何在原表的更新操做都 会更新到新表，由于这个工具在会在原表上建立触发器，触发器会将 在原表上更新的内容更新到新表。若是表中已经定义了触发器这个工 具就不能工做了。

pt-online-schema-change --lock-wait-time=120 --alter="ENGINE=InnoDB" D=database,t=table --execute
pt-online-schema-change --lock-wait-time=120 --alter="ADD COLUMN domain_id INT"D=database,t=table --execute

3）pt-query-advisor

根据一些规则分析查询语句，对可能的问题提出建议

pt-query-advisor /path/to/slow-query.log
pt-query-advisor --type genlog mysql.log
pt-query-digest --type tcpdump.txt --print --no-report | pt-query-advisor
pt-query-advisor --query "select * from test"
pt-query-advisor /path/to/general.log
pt-query-advisor /path/to/localhost-slow.log

4）pt-show-grants

规范化和打印 mysql 权限，让你在复制、比较 mysql 权限以及进行版 本控制的时候更有效率

pt-show-grants --h localhost --u root --p 123456
pt-show-grants --h localhost --u root --p 123456 -d test
pt-show-grants --h localhost --u root --p 123456 -d test --revoke

5）pt-upgrade

在多台服务器上执行查询，并比较有什么不一样！这在升级服务器的时 候很是有用，能够先安装并导数据到新的服务器上，而后使用这个工 具跑一下 sql 看看有什么不一样，能够找出不一样版本之间的差别

6）pt-index-usage

从 log 文件中读取查询语句，并用 explain 分析他们是如何利用索引。 完成分析以后会生成一份关于索引没有被查询使用过的报告

pt-index-usage /path/to/slow.log --h localhost --u root --p 123456 -d test --no-report --create-save-results-database

7）pt-pmp

为查询程序执行聚合的 GDB 堆栈跟踪，先进性堆栈跟踪，而后将跟踪信息汇总

pt-pmp -p 21933
pt-pmp -b /usr/local/mysql/bin/mysqld_safe

8）pt-visual-explain

格式化 explain 出来的执行计划按照 tree 方式输出，方便阅读

pt-visual-explain --connect aaa --h localhost --u root --p 123456 -d test
pt-visual-explain `mysql --h localhost --u root --p 123456 -d test -e "explain select testx from test where id=1"` |

九、pt-config-diff

比较 mysql 配置文件和服务器参数

pt-config-diff /usr/local/mysql/share/mysql/my-large.cnf /usr/local/mysql/share/mysql/my-medium.cnf

十、pt-mysql-summary

精细地对 mysql 的配置和 sataus 信息进行汇总，汇总后你直接看一眼 就能看明白

pt-mysql-summary  --user=root --password=sEtNcu3O9R7Dl29c --all-databases

11）pt-variable-advisor

分析 mysql 的参数变量，并对可能存在的问题提出建议

pt-variable-advisor --h localhost --u root --p 123456 

结果

# WARN delay_key_write: MyISAM index blocks are never flushed until necessary.

# WARN innodb_lock_wait_timeout: This option has an unusually long value, which can cause system overload if locks are not being released.

# NOTE innodb_max_dirty_pages_pct: The innodb_max_dirty_pages_pct is lower than the default.

# NOTE low_priority_updates: The server is running with non-default lock priority for updates.

# NOTE max_binlog_size: The max_binlog_size is smaller than the default of 1GB.

# NOTE port: The server is listening on a non-default port.

# NOTE read_buffer_size-1: The read_buffer_size variable should generally be left at its default unless an expert determines it is necessary to change it.

# NOTE read_rnd_buffer_size-1: The read_rnd_buffer_size variable should generally be left at its default unless an expert determines it is necessary to change it.

# CRIT slave_skip_errors: You should not set this option.

# NOTE sort_buffer_size-1: The sort_buffer_size variable should generally be left at its default unless an expert determines it is necessary to change it.

# NOTE tx_isolation-1: This server's transaction isolation level is non-default.

# NOTE innodb_data_file_path: Auto-extending InnoDB files can consume a lot of disk space that is very difficult to reclaim later.

# WARN log_output: Directing log output to tables has a high performance impact.

12）pt-deadlock-logger

提取和记录 mysql 死锁的相关信息,收集和保存 mysql 上最近的死锁信息，能够直接打印死锁信息和存储 死锁信息到数据库中，死锁信息包括发生死锁的服务器、最近发生死 锁的时间、死锁线程 id、死锁的事务 id、发生死锁时事务执行了多长 时间等等很是多的信息

13)pt-fk-error-logger

提取和记录 mysql 外键错误信息，经过SHOW INNODB STATUS提取和保存mysql数据库最近发生的外键 错误信息。能够经过参数控制直接打印错误信息或者将错误信息存储 到数据库的表中

14）pt-mext

并行查看 SHOW GLOBAL STATUS 的多个样本的信息，原理：pt-mext 执行你指定的 COMMAND，并每次读取一行结果，把 空行分割的内容保存到一个一个的临时文件中，最后结合这些临时文 件并行查看结果

15）pt-query-digest

分析查询执行日志，并产生一个查询报告，为 MySQL、PostgreSQL、 memcached 过滤、重放或者转换语句

16）pt-trend

居于一组时间序列的数据点作统计，读取一个慢查询日志，并输出统计信息。也能够指定多个文件。若是 不指定文件的话直接从标准输入中读取信息

17）pt-heartbeat

监控 mysql 复制延迟，测量复制落后主 mysql 或者主 PostgreSQL 多少时间，你可使用这个 脚本去更新主或者监控复制

原理：pt-heartbeat 经过真实的复制数据来确认 mysql 和 postgresql 复制延迟，这个避免了对复制机制的依赖，从而能得出准确的落后复 制时间，包含两部分：第一部分在主上 pt-heartbeat 的--update 线程 会在指定的时间间隔更新一个时间戳，第二部分是 pt-heartbeat 的 --monitor 线程或者--check 线程链接到从上检查复制的心跳记录（前 面更新的时间戳），并和当前系统时间进行比较，得出时间的差别。 你能够手工建立 heartbeat 表或者添加--create-table 参数，推荐使用 MEMORY 引擎

18）pt-slave-delay

设置从服务器落后于主服务器指定时间

原理：经过启动和中止复制 sql 线程来设置从落后于主指定时间。默 认是基于从上 relay 日志的二进制日志的位置来判断，所以不须要连 接到主服务器，若是 IO 进程不落后主服务器太多的话，这个检查方 式工做很好，若是网络通畅的话，通常 IO 线程落后主一般都是毫秒 级别。通常是经过--delay and --delay"+"--interval 来控制。--interval 是 指定检查是否启动或者中止从上 sql 线程的频繁度，默认的是 1 分钟 检查一次

19）pt-slave-find

查找和打印 mysql 全部从服务器复制层级关系

原理:链接 mysql 主服务器并查找其全部的从，而后打印出全部从服 务器的层级关系

20）pt-slave-restart

监视 mysql 复制错误，并尝试重启 mysql 复制当复制中止的时候，监视一个或者多个 mysql 复制错误，当从中止的时候尝试从新启动复 制。你能够指定跳过的错误并运行从到指定的日志位置

21）pt-table-checksum

检查 mysql 复制一致性

工做原理：pt-table-checksum 在主上执行检查语句在线检查 mysql 复 制的一致性，生成 replace 语句，而后经过复制传递到从，再经过 update 更新 master_src 的值。经过检测从上 this_src 和 master_src 的 值从而判断复制是否一致。 注意：使用的时候选择业务地峰的时候运行，由于运行的时候会形成 表的部分记录锁定。使用--max-load 来指定最大的负载状况，若是达 到那个负载这个暂停运行。若是发现有不一致的数据，可使用 pt-table-sync 工具来修复。 注意：和 1.0 版本不一样，新版本的 pt-table-checksum 只须要在 master 上执行便可。 经过 –explain 参数再结合二进制日志就能够看出脚本的工做原理， 如个人 test 库有一个名字为 zhang 的表，咱们经过抓取二进制日志来 查看

22）pt-table-sync

高效同步 mysql 表的数据

原理：老是在主上执行数据的更改，再同步到从上，不会直接更改为 从的数据，在主上执行更改是基于主上如今的数据，不会更改主上的 数据。注意使用以前先备份你的数据，避免形成数据的丢失.执行 execute 以前最好先换成--print 或--dry-run 查看一下会变动哪些数据

23）pt-diskstats

是一个对 GUN/LINUX 的交互式监控工具，为 GUN/LINUX 打印磁盘 io 统计信息，和 iostat 有点像，可是这个工 具是交互式而且比 iostat 更详细。能够分析从远程机器收集的数据

24）pt-fifo-split

模拟切割文件并经过管道传递给先入先出队列而不用真正的切割文 件，pt-fifo-split 读取大文件中的数据并打印到 fifo 文件，每次达到指定行 数就往 fifo 文件中打印一个 EOF 字符，读取完成之后，关闭掉 fifo 文 件并移走，而后重建 fifo 文件，打印更多的行。这样能够保证你每次 读取的时候都能读取到制定的行数直到读取完成。注意此工具只能工 做在类 unix 操做系统。这个程序对大文件的数据导入数据库很是有 用，具体的能够查看 http://www.mysqlperformanceblog.com/2008/07 /03/how-to-load-large-files-safely-into-innodb-with-load-data-infile/。

25）pt-summary

友好地收集和显示系统信息概况，此工具并非一个调优或者诊断工 具，这个工具会产生一个很容易进行比较和发送邮件的报告

原理：此工具会运行和多命令去收集系统状态和配置信息，先保存到 临时目录的文件中去，而后运行一些unix命令对这些结果作格式化， 最好是用 root 用户或者有权限的用户运行此命令

26）pt-stalk

出现问题的时候收集 mysql 的用于诊断的数据，pt-stalk 等待触发条件触发，而后收集数据帮助错误诊断，它被设计 成使用 root 权限运行的守护进程，所以你能够诊断那些你不能直接 观察的间歇性问题。默认的诊断触发条件为 SHOW GLOBAL STATUS。 也能够指定 processlist 为诊断触发条件 ，使用--function 参数指定

27）pt-archiver

将 mysql 数据库中表的记录归档到另一个表或者文件，也能够直接 进行记录的删除操做

这个工具只是归档旧的数据，不会对线上数据的 OLTP 查询形成太大 影响，你能够将数据插入另一台服务器的其余表中，也能够写入到 一个文件中，方便使用 load data infile 命令导入数据。另外你还能够 用它来执行 delete 操做。这个工具默认的会删除源中的数据。使用 的时候请注意

28）pt-find

查找 mysql 表并执行指定的命令，和 gnu 的 find 命令相似

29）pt-kill

Kill 掉符合指定条件 mysql 语句，假如没有指定文件的话pt-kill链接到mysql并经过SHOW PROCESSLIST 找到指定的语句，反之 pt-kill 从包含 SHOW PROCESSLIST 结果的文件 中读取 mysql 语句