咱们在作性能测试的目的是什么，就是要测出一个系统的瓶颈在哪里，究竟是哪里影响了咱们系统的性能，找到问题，而后解决它。固然一个系统由不少东西一块儿组合到一块儿，应用程序、数据库、服务器、中中间件等等不少东西。那咱们测试的时候上面这些东西里面任何一个环节均可能会出问题，均可能会影响咱们系统的性能。这篇博客主要讲下mysql数据库我们在作性能测试的时候应该监控什么东西，又有哪些须要优化的地方。mysql
1、哪些东西会影响mysql的性能？
- 1.硬件
- 2.系统配置
- 3.数据库表结构
- 4.SQL以及索引
硬件
硬件就指的是数据库服务器的配置，服务器说白了就是一台电脑而已，若是电脑的配置高，cpu处理能力强，内存大，硬盘是ssd的，那确定性能好。固然这种方式成本也是最高的，要花钱的嘛。linux
系统配置
系统配置一个指的是操做系统的配置，有一些操做系统的配置会影响mysql的性能，如今我们大多数服务器都是用的linux服务器，linux上面一切东西都是基于文件的，mysql数据里面的表、数据等等都是文件存在磁盘上的。sql
linux系统有一个系统配置是文件打开的数量，默认是1024，也就是最多只能打开1024个文件，那在数据库里面表比较多、并发大的状况下，这1024就不够用了，要想获取数据就得打开文件，可是打开文件的数量最多就1024个，就会致使有一些数据获取不到，就得等待别的文件关闭以后，才能打开。那就要修改系统的配置，在/etc/security/limits.conf文件里面能够修改最大打开文件的数量。数据库
|
1
2
3
|
vi /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
|
还有一些mysql配置参数会影响mysql的性能。sublime-text
sleep超时时间
mysql的链接数是提早配置好的，若是程序里面代码写的很差，有一些数据库操做没有及时关闭数据库，那这个连接就不会释放会一直占用连接，这样子并发大的状况下，就会致使数据库链接数不够用了，就链接不上数据库了。mysql默认8小时不操做数据库才会自动关闭连接，因此这个sleep的超时时间会影响mysql的性能。缓存
|
1
2
|
set global wait_timeout=600; 设置sleep的超时间，单位是秒
show variables like '%wait_timeout%'; 查询超时时间
|
独立表空间设置
|
1
2
|
set global innodb_file_per_table =ON; 设置独立表空间打开
show variables like '%per_table%'; #查询是否打开独立表空间
|
读/写进程数配置
在mysql5.5以后读、写的进程数是能够配置的。默认读和写的进程数都是4个。服务器
固然咱们都知道，人多好干活嘛。进程多就是干活的人多，具体配置根据cpu的核数和业务逻辑来配置这两个值。架构
假如cpu是32核的，那么就是同时能够有32个进程在运行，就能够把这两个值给调大。并发
假如说是系统是一个内容类的网站，大多数操做都是读操做，那么就能够把读的进程数设置大一点，写的进程数设置的小一点。函数
怎么修改呢，找到mysql的配置文件，在[mysqld]节点下加入下面参数的便可
|
1
2
|
innodb_read_io_threads
=5 读进程数
innodb_write_io_threads
=3 写进程数
|
缓存配置
在说缓存配置以前我们先了解清楚，计算机在处理任务的时候是怎么处理的，先从磁盘上读取数据，而后放到内存里面，cpu去内存里面拿数据，而后处理。
在写的时候正好相反，cpu处理完以后，把数据放到内存里面，内存再放到磁盘里。
那从上面，咱们发现，若是数据直接从内存里面拿的话，那速度就快不少了，咱们看下面的图，读1M的数据，内存里面比从磁盘上快多少。
从上面这个图咱们发现从内存里面读数据比从磁盘里面取数据快了N倍。
那到mysql里面，若是取数据的时候，mysql先把一些数据缓存到内存里面的话，取数据直接从内存里面取不就快不少了。
我们在说mysql缓存以前，先说下mysql在执行一条查询语句的时候都作了什么。
从上面的图咱们发现，mysql是有两个地方检查了内存的。若是内存里面找到咱们想要的数据，那么就不去磁盘上查询数据了。那么这两个缓存都是什么，怎么配置呢。
qcache配置
- 缓存完整的SELECT语句和查询结果，当查询命中缓存，MySQL会马上返回结果，跳过解析、优化和执行阶段。
- 查询缓存会跟踪系统中的每张表，若是这些表发生变化，那么和这张表相关的全部查询缓存所有失效。
- 在检查查询缓存的时候，MySQL不会对SQL进行任何处理，它精确的使用客户端传来的查询（select），只要字符大小写，或者注释有一点点不一样，查询缓存就认为是不一样的查询。
- 任何一个包含不肯定的函数(好比now(),current_date())的查询不会被缓存。
- MySQL查询缓存能够改善性能，可是在使用的时候也有一些问题须要注意：
开启查询缓存对于读写都增长了额外的开销。对于读，在查询开始前须要先检查缓存；对于写，在写入后须要更新缓存。
通常状况这些开销相对较小，因此查询缓存通常仍是有好处的。但也要根据业务特征权衡是否须要开启查询缓存。
怎么配置呢，找到mysql的配置文件，在[mysqld]节点下加入下面参数的便可
|
1
2
3
4
5
6
7
8
|
query_cache_size
= 200M
分配给查询缓存的总内存，通常建议不超过256M
query_cache_limit
= 1M
这个选项限制了MySQL存储的最大结果。若是查询的结果比这个大，那么就不会被缓存。
下面是查看qcache的状态的语句
SHOW VARIABLES LIKE '%query_cache%';#查看qcache状态
|
innodb_buffer_pool配置
mysql里面还有一个缓存配置就是innodb_buffer_pool的配置，innodb是如今mysql的默认存储引擎，存储引擎说白了就mysql存数据的时候究竟是怎么存的。
就是一个仓库里面怎么摆放货物的。
buffer pool是innodb存储引擎带的一个缓存池，查询数据的时候，它首先会从内存中查询，若是内存中存在的话，直接返回，从而提升查询响应时间。
innodb buffer pool和qcache的区别是：qcacche缓存的是sql语句对应的结果集，buffer pool中缓存的是表中的数据。buffer pool通常设置为服务器物理内存的70%。
怎么配置呢，找到mysql的配置文件，在[mysqld]节点下加入下面参数的便可
|
1
2
3
4
5
|
innodb_buffer_pool_size=50M #Innodb_buffer_pool的大小
innodb_buffer_pool_dump_now=on #中止MySQL服务时，InnoDB将InnoDB缓冲池中的热数据保存到本地硬盘。
innodb_buffer_pool_load_at_startup =on #启动MySQL服务时，MySQL将本地热数据加载到InnoDB缓冲池中。
SHOW VARIABLES LIKE '%innodb_buffer_pool%';#查看buffer_pool的大小
|
mysql架构上的优化
读写分离
多点写入
数据库表结构优化
固然系统在设计表结构的时候，通常都是架构师和一帮开发已经把表结构设计好了，我们没达到那个级别架构上的东西咱也不懂，就在设计表结构的时候须要注意的一些东西。
mysql索引优化
索引是什么呢，就和字典的目录同样。有目录了，那我们查数据就快了。
最适合建索引的列是出如今where子句后面的列。
惟一索引的效果最好，由于是惟一的。
利用最左前缀。
索引并非越多越好。
mysql索引有4种类型
一、普通索引
最普通的索引，全部列均可以加
|
1
|
create index index_name on table_name (col);
|
二、主键索引
建表的时候加的主键
三、组合索引
|
1
|
create index index_name on table_name (col,col2);
|
四、惟一索引
|
1
2
|
CREATE UNIQUE INDEX index_name
ON table_name (column_name);
|
去除重复、冗余索引
由于每一个开发的水平都不同，不可避免的的会出现一些重复索引的问题。那咱们怎么来查找有一些冗余的索引呢。
就要借助percona-toolkit这个工具了，它里面有pt-duplicate-key-checker这个工具能够帮我们找出来哪些表里面有冗余的索引，并给出修改索引的语句。
|
1
|
pt
-duplicate-key-checker -uroot -pxxx -dxx#-u指的是用户 -p是密码 -d是数据库
|
这个能帮我们找出来重复的索引，那还有一些根本就没有必要用的索引，虽然索引创建的并非重复，可是实际上并没用查询语句用到它，怎么办呢，percona-toolkit这个工具里还有一个工具是pt-index-usage，它能够读取慢查询日志，帮我们找到那些没用的索引。
|
1
|
pt-index-usage /opt/data/slow.log #后面是慢查询日志
|
慢查询日志
什么是慢查询日志呢，它这个就是个神器了，对我们测试特别有帮助，它会记录执行时间长的sql语句，这样我们找问题的时候就比较方便了。
|
1
2
3
4
5
6
7
|
set global slow_query_log=on;#打开慢查询日志
set global long_query_time=1;#设置记录查询超过多长时间的sql
set global slow_query_log_file='/tmp/slow_query.log';#设置mysql慢查询日志路径，此路径须要有写权限
set global log_queries_not_using_indexes=ON; #设置没有使用索引的sql记录下来
SHOW VARIABLES LIKE '%slow%';#查看慢查询配置
|
mysql记录的日志里面，我们看着比较不清晰，我们使用pt-query-digest这个工具帮我们解析慢查询日志，它会把全部的sql的执行时间以及具体sql，执行了多少次都帮我们统计出来。
下面是pt-query-digest的用法
|
1
2
3
|
pt-query-digest --filter='$event->{fingerprint} =~ m/^select/i' slow.log #查看包含select语句的慢查询
pt-query-digest --since=12h slow.log #最近12小时的
pt-query-digest --since '2017-12-01 09:30:00' --until '2017-12-02 10:00:00' --filter='$event->{fingerprint} =~ m/^select/i' slow.log #指定时间段
|
若是想实时的获取有没有执行时间长的sql，用下面这个sql语句
|
1
|
select id,`user`,`host`,DB,command,`time`,state,info from information_schema.PROCESSLIST where TIME>=60;
|
explain
经过慢查询日志咱们能够找到有问题的sql语句，那咱们怎么看这个sql哪有问题呢，就要使用explain了，只要在你要执行sql语句前面加上explain便可
all<index<range<ref<eq_ref<const,system sql执行type列里最差到最优
sql优化时候须要注意的
查询条件使用索引列，排序使用索引列
避免select *，通常select * 都会形成全表扫描
尽可能避免子查询，MySQL 的子查询执行计划一直存在较大的问题，虽然这个问题已经存在多年，可是到目前已经发布的全部稳定版本中都广泛存在，一直没有太大改善。虽然官方也在很早就认可这一问题，而且承诺尽快解决，可是至少到目前为止咱们尚未看到哪个版本较好的解决了这一问题。
事物
银行存钱例子。
锁
表级锁、行级锁。
SELECT * FROM information_schema.INNODB_TRX\G
mysql性能测试工具
mysqlslap是mysql自带的一个性能测试工具。它能够模拟各类并发，以及使用哪一种sql，生成多少数据，运行多久，产生报告。
经常使用的选项
|
1
2
3
4
5
6
7
8
9
10
11
|
--concurrency 并发数量,多个能够用逗号隔开
--engines 要测试的引擎，能够有多个，用分隔符隔开，如--engines=myisam,innodb
--auto-generate-sql 用系统本身生成的SQL脚原本测试
--auto-generate-sql-load-type 要测试的是读仍是写仍是二者混合的（read,write,update,mixed）
--number-of-queries 总共要运行多少次查询。每一个客户运行的查询数量能够用查询总数/并发数来计算
--debug-info 额外输出CPU以及内存的相关信息
--number-int-cols 建立测试表的int型字段数量
--number-char-cols 建立测试表的chat型字段数量
--create-schema 测试的database
--query 本身的SQL 脚本执行测试
--only-print 若是只想打印看看SQL语句是什么，能够用这个选项
|
下面是使用的例子
|
1
2
3
4
5
6
7
8
|
100并发，运行1000次，写操做和读操做都有，自动生成sql，int类型字段2个，char类型10个，
mysqlslap -h127.0.0.1 -uroot -p123456 --concurrency=100 --auto-generate-sql --auto-generate-sql-load-type=mixed --engine=innodb --auto-generate-sql-add-autoincrement --number-int-cols=2 --number-char-cols=10 --number-of-queries=10
100并发，运行5000次，besttest这个数据库上执行sql
mysqlslap -h127.0.0.1 -uroot -p123456 --concurrency=100 --query='select * from stu;' -create-schema=besttest --engine=innodb --number-of-queries=5000 --debug-info
100并发，运行5000次，besttest这个数据库上执行指定的sql文件
mysqlslap -h127.0.0.1 -uroot -p123456 --concurrency=100 --query=/tmp/besttest.sql -create-schema=besttest --engine=innodb --number-of-queries=5000 --debug-info
|