MySQL高性能学习笔记

mysql 高性能学习笔记。

1、Ubuntu 安装mysql

咱们在Ubuntu环境下装一个测试用的MySQL来学习。

1.更新包

sudo apt-get update

2.安装MySQL的服务端和客户端

sudo apt-get install mysql-server mysql-client

在安装的过程当中，须要输入数据库密码。

3.启动Mysql

sudo service mysql restart

4.登陆mysql

mysql -u root -p

2、sysbench基准测试

sysbench是一个开源的、模块化的、跨平台的多线程性能测试工具，能够用来进行CPU、内存、磁盘I/O、线程、数据库的性能测试。目前支持的数据库有MySQL、Oracle和PostgreSQL。当前功能容许测试的系统参数有：

file I/O performance （文件I / O性能）
scheduler performance （调度性能）
memory allocation and transfer speed （内存分配和传输速度）
POSIX threads implementation performance （POSIX线程执行绩效）
database server performance (OLTP benchmark) （数据库服务器性能）

1.安装

Ubuntu系统能够直接apt，如：

apt-get install sysbench

在安装的时候出现了这样的错误:Could not get lock /var/lib/dpkg/lock

出现这个问题多是有另一个程序正在运行，致使资源被锁不可用。而致使资源被锁的缘由多是上次运行安装或更新时没有正常完成，进而出现此情况，解决的办法其实很简单：
在终端中敲入如下两句

sudo rm /var/cache/apt/archives/lock
sudo rm /var/lib/dpkg/lock

再试着安装，问题解决。

2.通用选项说明

root@db2:~# sysbench 
Missing required command argument.

Usage: #使用方法

sysbench [general-options]... --test=<test-name> [test-options]... command

General options: #通用选项
--num-threads=N number of threads to use [1] #建立测试线程的数目。默认为1.
--max-requests=N limit for total number of requests [10000] #请求的最大数目。默认为10000，0表明不限制。
--max-time=N limit for total execution time in seconds [0] #最大执行时间，单位是s。默认是0,不限制。
--forced-shutdown=STRING amount of time to wait after --max-time before forcing shutdown [off] #超过max-time强制中断。默认是off。
--thread-stack-size=SIZE size of stack per thread [32K] #每一个线程的堆栈大小。默认是32K。
--init-rng=[on|off] initialize random number generator [off] #在测试开始时是否初始化随机数发生器。默认是off。
--test=STRING test to run #指定测试项目名称。
--debug=[on|off] print more debugging info [off] #是否显示更多的调试信息。默认是off。
--validate=[on|off] perform validation checks where possible [off] #在可能状况下执行验证检查。默认是off。
--help=[on|off] print help and exit #帮助信息。
--version=[on|off] print version and exit #版本信息。

Compiled-in tests: #测试项目
fileio - File I/O test #IO
cpu - CPU performance test #CPU
memory - Memory functions speed test #内存
threads - Threads subsystem performance test #线程
mutex - Mutex performance test #互斥性能测试
oltp - OLTP test # 数据库，事务处理

Commands: prepare：测试前准备工做； run：正式测试 cleanup：测试后删掉测试数据 help version

See 'sysbench --test=<name> help' for a list of options for each test. #查看每一个测试项目的更多选项列表

更多选项：

1)：sysbench --test=fileio help

root@db2:~# sysbench  --test=fileio help
sysbench 0.4.12:  multi-threaded system evaluation benchmark

fileio options:
--file-num=N 建立测试文件的数量。默认是128
--file-block-size=N 测试时文件块的大小。默认是16384(16K)
--file-total-size=SIZE 测试文件的总大小。默认是2G
--file-test-mode=STRING 文件测试模式{seqwr(顺序写), seqrewr(顺序读写), seqrd(顺序读), rndrd(随机读), rndwr(随机写), rndrw(随机读写)}
--file-io-mode=STRING 文件操做模式{sync(同步),async(异步),fastmmap(快速map映射),slowmmap(慢map映射)}。默认是sync
--file-extra-flags=STRING 使用额外的标志来打开文件{sync,dsync,direct} 。默认为空
--file-fsync-freq=N 执行fsync()的频率。(0 – 不使用fsync())。默认是100
--file-fsync-all=[on|off] 每执行完一次写操做就执行一次fsync。默认是off
--file-fsync-end=[on|off] 在测试结束时才执行fsync。默认是on
--file-fsync-mode=STRING 使用哪一种方法进行同步{fsync, fdatasync}。默认是fsync
--file-merged-requests=N 若是能够，合并最多的IO请求数(0 – 表示不合并)。默认是0
--file-rw-ratio=N 测试时的读写比例。默认是1.5

2):sysbench --test=cpu help

--cpu-max-prime=N 最大质数发生器数量。默认是10000

3):sysbench --test=memory help

root@db2:~# sysbench --test=memory help
sysbench 0.4.12: multi-threaded system evaluation benchmark

memory options:
--memory-block-size=SIZE 测试时内存块大小。默认是1K
--memory-total-size=SIZE 传输数据的总大小。默认是100G
--memory-scope=STRING 内存访问范围{global,local}。默认是global
--memory-hugetlb=[on|off] 从HugeTLB池内存分配。默认是off
--memory-oper=STRING 内存操做类型。{read, write, none} 默认是write
--memory-access-mode=STRING存储器存取方式{seq,rnd} 默认是seq

4):sysbench --test=threads help

sysbench 0.4.12: multi-threaded system evaluation benchmark

threads options:
--thread-yields=N 每一个请求产生多少个线程。默认是1000
--thread-locks=N 每一个线程的锁的数量。默认是8

5):sysbench --test=mutex help

root@db2:~# sysbench --test=mutex help
sysbench 0.4.12: multi-threaded system evaluation benchmark

mutex options:

--mutex-num=N 数组互斥的总大小。默认是4096
--mutex-locks=N 每一个线程互斥锁的数量。默认是50000
--mutex-loops=N 内部互斥锁的空循环数量。默认是10000

6): sysbench --test=oltp help

root@db2:~# sysbench --test=oltp help
sysbench 0.4.12: multi-threaded system evaluation benchmark

oltp options:
--oltp-test-mode=STRING 执行模式{simple,complex(advanced transactional),nontrx(non-transactional),sp}。默认是complex
--oltp-reconnect-mode=STRING 从新链接模式{session(不使用从新链接。每一个线程断开只在测试结束),transaction(在每次事务结束后从新链接),query(在每一个SQL语句执行完从新链接),random(对于每一个事务随机选择以上从新链接模式)}。默认是session
--oltp-sp-name=STRING 存储过程的名称。默认为空
--oltp-read-only=[on|off] 只读模式。Update，delete，insert语句不可执行。默认是off
--oltp-skip-trx=[on|off] 省略begin/commit语句。默认是off
--oltp-range-size=N 查询范围。默认是100
--oltp-point-selects=N number of point selects [10]
--oltp-simple-ranges=N number of simple ranges [1]
--oltp-sum-ranges=N number of sum ranges [1]
--oltp-order-ranges=N number of ordered ranges [1]
--oltp-distinct-ranges=N number of distinct ranges [1]
--oltp-index-updates=N number of index update [1]
--oltp-non-index-updates=N number of non-index updates [1]
--oltp-nontrx-mode=STRING 查询类型对于非事务执行模式{select, update_key, update_nokey, insert, delete} [select]
--oltp-auto-inc=[on|off] AUTO_INCREMENT是否开启。默认是on
--oltp-connect-delay=N 在多少微秒后链接数据库。默认是10000
--oltp-user-delay-min=N 每一个请求最短等待时间。单位是ms。默认是0
--oltp-user-delay-max=N 每一个请求最长等待时间。单位是ms。默认是0
--oltp-table-name=STRING 测试时使用到的表名。默认是sbtest
--oltp-table-size=N 测试表的记录数。默认是10000
--oltp-dist-type=STRING 分布的随机数{uniform(均匀分布),Gaussian(高斯分布),special(空间分布)}。默认是special
--oltp-dist-iter=N 产生数的迭代次数。默认是12
--oltp-dist-pct=N 值的百分比被视为'special' (for special distribution)。默认是1
--oltp-dist-res=N ‘special’的百分比值。默认是75

General database options:
--db-driver=STRING 指定数据库驱动程序('help' to get list of available drivers)
--db-ps-mode=STRING编制报表使用模式{auto, disable} [auto]
Compiled-in database drivers:

mysql - MySQL driver

mysql options:
--mysql-host=[LIST,...] MySQL server host [localhost]
--mysql-port=N MySQL server port [3306]
--mysql-socket=STRING MySQL socket
--mysql-user=STRING MySQL user [sbtest]
--mysql-password=STRING MySQL password []
--mysql-db=STRING MySQL database name [sbtest]
--mysql-table-engine=STRING storage engine to use for the test table {myisam,innodb,bdb,heap,ndbcluster,federated} [innodb]
--mysql-engine-trx=STRING whether storage engine used is transactional or not {yes,no,auto} [auto]
--mysql-ssl=[on|off] use SSL connections, if available in the client library [off]
--myisam-max-rows=N max-rows parameter for MyISAM tables [1000000]
--mysql-create-options=STRING additional options passed to CREATE TABLE []

3.测试线程

sysbench  --test=threads --num-threads=500 --thread-yields=100 --thread-locks=4 run

4.测试IO

--num-threads 开启的线程 --file-total-size 总的文件大小
1，prepare阶段，生成须要的测试文件，完成后会在当前目录下生成不少小文件。
sysbench --test=fileio --num-threads=16 --file-total-size=2G --file-test-mode=rndrw prepare
2，run阶段
sysbench --test=fileio --num-threads=20 --file-total-size=2G --file-test-mode=rndrw run

下面的命令运行文件 I/O 混合随机读/写基准测试：

sysbench --test=fileio --file-total-size=3G --file-test-mode=rndrw --max-time=300
--max-requests=0 run

执行结果：

输出结果分析：
每秒请求数是：233.33 Requests/sec
吞吐量是：3.6458Mb/sec

清除运行文件：

sysbench --test=fileio --file-total-size=3G cleanup

5.清理测试时生成的文件

sysbench --test=fileio --num-threads=20 --file-total-size=2G --file-test-mode=rndrw cleanup

6.测试内存

sysbench --test=memory --memory-block-size=8k --memory-total-size=1G run

7.测试mutex

sysbench –test=mutex –num-threads=100 –mutex-num=1000 –mutex-locks=100000 –mutex-loops=10000 run

8.测试OLTP

1，prepare阶段，生成须要的测试表

sysbench --test=oltp --mysql-table-engine=innodb --mysql-host=192.168.X.X --mysql-db=test --oltp-table-size=500000 --mysql-user=root --mysql-password=123456 prepare

2，run阶段

sysbench --num-threads=16 --test=oltp --mysql-table-engine=innodb --mysql-host=192.168.x.x --mysql-db=test --oltp-table-size=500000 --mysql-user=root --mysql-password=123456 run

3，清理测试时生成的测试表

sysbench --num-threads=16 --test=oltp --mysql-table-engine=innodb --mysql-host=192.168.x.x --mysql-db=test --oltp-table-size=500000 --mysql-user=root --mysql-password=123456 cleanup

3、服务器性能剖析

咱们实际开发中，最常碰到三个性能相关的服务器请求：
一、如何确认服务器是否达到了性能最佳的状态；
二、找出某条语句为何执行不够快
三、诊断被用户描述成“停顿”、“堆积”或“卡死”的某些间歇性疑难故障

找到慢的缘由，咱们才可以对症下药。

何为性能？
咱们将性能定义为完成某件任务所须要的时间度量，换句话说，性能即响应时间。

完成一项任务所须要的时间能够分红两部分：执行时间和等待时间。

二、测量PHP应用程序

这里咱们用一个PHP性能剖析工具，名叫ifP(instrumentation-for-php),代码托管在Google Code上（https://code.google.com/archi...），该工具能够更好的关注数据库的调用。因此当没法在数据库层面进行测试的时候，Ifp能够很好的帮助应用剖析数据库的利用率。Ifp是一个提供了计数器和计时器的单例类,很容易部署到生产环境中，由于不须要访问PHP的配置权限（由于对于不少开发人员来讲，都没有访问PHP的配置的权限。）

error_reporting(-1);
require_once('../src/Instrumentation.php');

$instance = false;
$ret      = Instrumentation::get_instance()->start_request();
print_r($ret);

4、慢查询

在web开发中，咱们常常会写出一些SQL语句，一条糟糕的SQL语句可能让你的整个程序都很是慢，超过10秒通常用户就会选择关闭网页，如何优化SQL语句将那些运行时间 比较长的SQL语句找出呢？MySQL给咱们提供了一个很好的功能，那就是慢查询！所谓的慢查询就是经过设置来记录超过必定时间的SQL语句！那么如何应用慢查询呢？

1.开启MySQL的慢查询日志功能

默认状况下，MySQL是不会记录超过必定执行时间的SQL语句的。要开启这个功能，咱们须要修改MySQL的配置文件，windows下修改my.ini,Linux下修改my.cnf文件,在[mysqld]最后增长以下命令：

首先咱们先查看MYSQL服务器的慢查询状态是否开启.执行以下命令:

show variables like '%quer%';

咱们能够看到，数据库的慢查询是关闭的。

找到 my.cnf 配置文件

> cd /
> sudo find -name my.cnf
./etc/mysql/my.cnf

编辑 my.cnf

slow_query_log
long_query_time = 1

2.测试慢查询日志功能

(1)进入MySql控制台，执行以下语句:

select sleep(2);

mysql> select sleep(2);
sleep(2)
0

1 row in set (2.12 sec)

(2)查看慢查询日志文件think-slow.log，在文件最后发现：

# Time: 121120 20:06:23
# User@Host: root[root] @ localhost [127.0.0.1]
# Query_time: 2.104120  Lock_time: 0.000000 Rows_sent: 1  Rows_examined: 0
SET timestamp=1353413183;
select sleep(2);

3.解释：

(1)slow_query_log 这句是开启记录慢查询功能，slow_query_log=0关闭；slow_query_log=1开启（这个1能够不写）
(2)long_query_time = 1 这句是记录超过1秒的SQL执行语句
(3)那么这个日志文件存放在什么地方呢？
默认是放在mysql的data目录，而且文件名为host_name-slow.log即 主机名-slow.log,好比在笔者的开发机上就是THINK-slow.log(由于偶用的Thinkpad，呵呵)

(4)若是日志文件不想放在data目录，咱们能够经过以下配置指定存放的目录及日志文件名：

slow_query_log_file=file_name

其中file_name就是你的存放日志的目录和文件名，在这里注意有的资料上多是log-slow-queries=file_name,这个在mysql5.5版已通过时！

5、Alter Table操做性能提高

MySQL 的 ALTER TABLE 操做性能对大表来讲是个大问题。MySQL执行大部分修改表结构操做的方法是用新的结构建立一个空表，从旧表中查出全部数据插入新表，而后删除旧表。这样操做可能须要花费很长时间，若是内存不足而表又很大，并且还有不少索引的状况下，尤为如此。ALTER TABLE 操做须要花费数个小时甚至几天时间才能完成。

大部分ALTER TABLE 操做将致使MySQL服务中断。

不是全部的 ALTER TABLE 操做都会引发表的重建。例如，有两种方法能够改变或删除一个列的默认值（一种方法很快，另外一种则很慢）。
假如要修改下面表的字段的默认值，下面是很慢的方式：

mysql> ALTER TABLE sakila.film
     > MODIFY COLUMN rental_duration TINYINT(3) NOT NULL
     > DEFAULT 5;

若是咱们用 SHOW STATUS显示这个语句作了 10000 次读和 10000次插入操做。换句话说，它拷贝了整张表到一张新表，甚至列的类型，大小和能否为NULL属性都没变。

理论上，MySQL能够跳过建立新表的步骤。列的默认值实际上存在表的 .frm文件中，因此，能够直接修改这个文件而不须要改动表自己。然而，MySQL尚未采用这种优化的方法，全部的 MODIFY COLUMN 操做都将致使表重建。

另外一种方法是经过 ALTER COLUMN 操做来改变列的默认值：

mysql> ALTER TABLE sakila.film
     > ALTER COLUMN rental_duration TINYINT(3) NOT NULL
     DEFAULT 5;

这个语句会直接修改 .frm 文件而不涉及表数据。因此，这个操做是很是快的。

---

相关文章：
sysbench 安装、使用和测试
MySQL运行状态show status中文详解