转:MySQL史上最全性能优化方式

1、设置索引
索引是一种可让SELECT语句提升效率的数据结构,能够起到快速定位的做用。mysql

索引的优缺点:
优势:某些状况下使用select语句大幅度提升效率,合适的索引能够优化MySQL服务器的查询性能,从而起到优化MySQL的做用。web

缺点:表行数据的变化(index、update、delect),简历在表列上的索引也会自动维护,必定程度上会使DML操做变慢。索引还会占用磁盘额外的存储空间。sql

MySQL索引操做:
给表列建立索引:数据库

  • 建表时建立索引:
  • create table t(id int,name varchar(20),index idx_name (name));
  • 给表追加索引:
  • alter table t add unique index idx_id(id);
  • 给表的多列上追加索引
  • alter table t add index idx_id_name(id,name);
    或者:
  • create index idx_id_name on t(id,name);

查看索引bash

  • 使用show语句查看t表上的索引:服务器

  • show index from t;
    或者:数据结构

  • show keys from t;–mysql中索引也被称做keys架构

     

  • 使用show create table语句查看索引:函数

  • show create table t\Gpost


删除索引:

  • 使用alter table命令删除索引:
  • alter table 表 drop index 索引名
  • 使用drop index命令删除索引:
  • drop index 索引名 on 表

索引原理:
例如一个学生信息表,咱们设置学号(stu_id)为索引:

索引页之间存在必定的关联关系,通常为树形结构;分为根节点、分支节点、和叶子节点
根节点页中存放分段stu_id的起始值,以及值所对应的分支索引页号
分支索引页中存放分段stu_id的起始值,以及值所对应的叶子索引页号
叶子索引页中存放排序后的stu_id值,该值所对应的表页号, 下一个叶子索引页的页号

stu_id创建索引后,执行select name,sex,height from stu where stu_id=13查询过程以下:

  1. 索引页存在关联关系,先找索引页号20的根节点,13在>=11和<17的范围内,须要查找25号索引页
  2. 读取25号索引页,13在>=11和<14范围内,获得了26号叶子索引页
  3. 读取26号叶子索引页,找到了13这个值,以及该值所对应表页的页号161,目前只获得了stu_id的值,还要获得name,sex,height等,所以须要再读一次编号为161的表页,里面存放了stu_id以外的值。
  4. 读取161号表页,得到sname,sex,height等值
    以上4步,只读取了3个索引页1个表页,共4个页,比读取全部表页(5000个页),按照stu_id=13挨个翻一遍效率要高,这也是有些状况下索引能够加速查询的缘由。

2、开始装逼:分类讨论

一条 SQL 语句执行的很慢,那是每次执行都很慢呢?仍是大多数状况下是正常的,偶尔出现很慢呢?因此我以为,咱们还得分如下两种状况来讨论。

一、大多数状况是正常的,只是偶尔会出现很慢的状况。

二、在数据量不变的状况下,这条SQL语句一直以来都执行的很慢。

针对这两种状况,咱们来分析下多是哪些缘由致使的。

3、针对偶尔很慢的状况

一条 SQL 大多数状况正常,偶尔才能出现很慢的状况,针对这种状况,我以为这条SQL语句的书写自己是没什么问题的,而是其余缘由致使的,那会是什么缘由呢?

一、数据库在刷新脏页(flush)我也无奈啊

当咱们要往数据库插入一条数据、或者要更新一条数据的时候,咱们知道数据库会在内存中把对应字段的数据更新了,可是更新以后,这些更新的字段并不会立刻同步持久化到磁盘中去,而是把这些更新的记录写入到 redo log 日记中去,等到空闲的时候,在经过 redo log 里的日记把最新的数据同步到磁盘中去。

当内存数据页跟磁盘数据页内容不一致的时候,咱们称这个内存页为“脏页”。内存数据写入到磁盘后,内存和磁盘上的数据页的内容就一致了,称为“干净页”。

刷脏页有下面4种场景(后两种不用太关注“性能”问题):

  • redolog写满了:redo log 里的容量是有限的,若是数据库一直很忙,更新又很频繁,这个时候 redo log 很快就会被写满了,这个时候就没办法等到空闲的时候再把数据同步到磁盘的,只能暂停其余操做,全身心来把数据同步到磁盘中去的,而这个时候,就会致使咱们平时正常的SQL语句忽然执行的很慢,因此说,数据库在在同步数据到磁盘的时候,就有可能致使咱们的SQL语句执行的很慢了。

  • 内存不够用了:若是一次查询较多的数据,刚好碰到所查数据页不在内存中时,须要申请内存,而此时刚好内存不足的时候就须要淘汰一部份内存数据页,若是是干净页,就直接释放,若是刚好是脏页就须要刷脏页。

  • MySQL 认为系统“空闲”的时候:这时系统没什么压力。

  • MySQL 正常关闭的时候:这时候,MySQL 会把内存的脏页都 flush 到磁盘上,这样下次 MySQL 启动的时候,就能够直接从磁盘上读数据,启动速度会很快。

二、拿不到锁我能怎么办

这个就比较容易想到了,咱们要执行的这条语句,恰好这条语句涉及到的,别人在用,而且加锁了,咱们拿不到锁,只能慢慢等待别人释放锁了。或者,表没有加锁,但要使用到的某个一行被加锁了,这个时候,我也没办法啊。

若是要判断是否真的在等待锁,咱们能够用 show processlist这个命令来查看当前的状态哦,这里我要提醒一下,有些命令最好记录一下,反正,我被问了好几个命令,都不知道怎么写,呵呵。

下来咱们来访分析下第二种状况,我以为第二种状况的分析才是最重要的

4、针对一直都这么慢的状况

若是在数据量同样大的状况下,这条 SQL 语句每次都执行的这么慢,那就就要好好考虑下你的 SQL 书写了,下面咱们来分析下哪些缘由会致使咱们的 SQL 语句执行的很不理想。

咱们先来假设咱们有一个表,表里有下面两个字段,分别是主键 id,和两个普通字段 c 和 d。

mysql> CREATE TABLE `t` (  `id` int(11) NOT NULL,  `c` int(11) DEFAULT NULL,  `d` int(11) DEFAULT NULL,  PRIMARY KEY (`id`)) ENGINE=InnoDB;
复制代码

一、扎心了,没用到索引

没有用上索引,我以为这个缘由是不少人都能想到的,例如你要查询这条语句

select * from t where 100 <c and c < 100000; 复制代码

(1)、字段没有索引

恰好你的 c 字段上没有索引,那么抱歉,只能走全表扫描了,你就体验不会索引带来的乐趣了,因此,这回致使这条查询语句很慢。

(2)、字段有索引,但却没有用索引

好吧,这个时候你给 c 这个字段加上了索引,而后又查询了一条语句

select * from t where c - 1 = 1000; 复制代码

我想问你们一个问题,这样子在查询的时候会用索引查询吗?

答是不会,若是咱们在字段的左边作了运算,那么很抱歉,在查询的时候,就不会用上索引了,因此呢,你们要注意这种字段上有索引,但因为本身的疏忽,致使系统没有使用索引的状况了。

正确的查询应该以下

select * from t where c = 1000 + 1; 复制代码

有人可能会说,右边有运算就能用上索引?难道数据库就不会自动帮咱们优化一下,自动把 c - 1=1000 自动转换为 c = 1000+1。

很差意思,确实不会帮你,因此,你要注意了。

(3)、函数操做致使没有用上索引

若是咱们在查询的时候,对字段进行了函数操做,也是会致使没有用上索引的,例如

select * from t where pow(c,2) = 1000; 复制代码

这里我只是作一个例子,假设函数 pow 是求 c 的 n 次方,实际上可能并无 pow(c,2)这个函数。其实这个和上面在左边作运算也是很相似的。

因此呢,一条语句执行都很慢的时候,多是该语句没有用上索引了,不过具体是啥缘由致使没有用上索引的呢,你就要会分析了,我上面列举的三个缘由,应该是出现的比较多的吧。

二、呵呵,数据库本身选错索引了

咱们在进行查询操做的时候,例如

select * from t where 100 < c and c < 100000; 复制代码

咱们知道,主键索引和非主键索引是有区别的,主键索引存放的值是整行字段的数据,而非主键索引上存放的值不是整行字段的数据,并且存放主键字段的值。 里面有说到主键索引和非主键索引的区别

不大懂的能够看这思惟导图

 

也就是说,咱们若是走 c 这个字段的索引的话,最后会查询到对应主键的值,而后,再根据主键的值走主键索引,查询到整行数据返回。

好吧扯了这么多,其实我就是想告诉你,就算你在 c 字段上有索引,系统也并不必定会走 c 这个字段上的索引,而是有可能会直接扫描扫描全表,找出全部符合 100 < c and c < 100000 的数据。

为何会这样呢?

实际上是这样的,系统在执行这条语句的时候,会进行预测:到底是走 c 索引扫描的行数少,仍是直接扫描全表扫描的行数少呢?显然,扫描行数越少固然越好了,由于扫描行数越少,意味着I/O操做的次数越少。

若是是扫描全表的话,那么扫描的次数就是这个表的总行数了,假设为 n;而若是走索引 c 的话,咱们经过索引 c 找到主键以后,还得再经过主键索引来找咱们整行的数据,也就是说,须要走两次索引。并且,咱们也不知道符合 100 c < and c < 10000 这个条件的数据有多少行,万一这个表是所有数据都符合呢?这个时候意味着,走 c 索引不只扫描的行数是 n,同时还得每行数据走两次索引。

因此呢,系统是有可能走全表扫描而不走索引的。那系统是怎么判断呢?

判断来源于系统的预测,也就是说,若是要走 c 字段索引的话,系统会预测走 c 字段索引大概须要扫描多少行。若是预测到要扫描的行数不少,它可能就不走索引而直接扫描全表了。

那么问题来了,系统是怎么预测判断的呢?这里我给你讲下系统是怎么判断的吧,虽然这个时候我已经写到脖子有点酸了。

系统是经过索引的区分度来判断的,一个索引上不一样的值越多,意味着出现相同数值的索引越少,意味着索引的区分度越高。咱们也把区分度称之为基数,即区分度越高,基数越大。因此呢,基数越大,意味着符合 100 < c and c < 10000 这个条件的行数越少。

因此呢,一个索引的基数越大,意味着走索引查询越有优点。

那么问题来了,怎么知道这个索引的基数呢?

系统固然是不会遍历所有来得到一个索引的基数的,代价太大了,索引系统是经过遍历部分数据,也就是经过采样的方式,来预测索引的基数的。

扯了这么多,重点的来了,竟然是采样,那就有可能出现失误的状况,也就是说,c 这个索引的基数其实是很大的,可是采样的时候,却很不幸,把这个索引的基数预测成很小。例如你采样的那一部分数据恰好基数很小,而后就误觉得索引的基数很小。而后就呵呵,系统就不走 c 索引了,直接走所有扫描了

因此呢,说了这么多,得出结论:因为统计的失误,致使系统没有走索引,而是走了全表扫描,而这,也是致使咱们 SQL 语句执行的很慢的缘由。

这里我声明一下,系统判断是否走索引,扫描行数的预测其实只是缘由之一,这条查询语句是否须要使用使用临时表、是否须要排序等也是会影响系统的选择的。

不过呢,咱们有时候也能够经过强制走索引的方式来查询,例如

select * from t force index(a) where c < 100 and c < 100000; 复制代码

咱们也能够经过

show index from t;
复制代码

来查询索引的基数和实际是否符合,若是和实际很不符合的话,咱们能够从新来统计索引的基数,能够用这条命令

analyze table t;
复制代码

来从新统计分析。

既然会预测错索引的基数,这也意味着,当咱们的查询语句有多个索引的时候,系统有可能也会选错索引哦,这也多是 SQL 执行的很慢的一个缘由。

好吧,就先扯这么多了,你到时候能扯出这么多,我以为已经很棒了,下面作一个总结。

5、总结

以上是个人总结与理解,最后一个部分,我怕不少人不大懂数据库竟然会选错索引,因此我详细解释了一下,下面我对以上作一个总结。

一个 SQL 执行的很慢,咱们要分两种状况讨论:

一、大多数状况下很正常,偶尔很慢,则有以下缘由

(1)、数据库在刷新脏页,例如 redo log 写满了须要同步到磁盘。

(2)、执行的时候,遇到锁,如表锁、行锁。

二、这条 SQL 语句一直执行的很慢,则有以下缘由。

(1)、没有用上索引:例如该字段没有索引;因为对字段进行运算、函数操做致使没法用索引。

(2)、数据库选错了索引。

做者:Java高端架构老王连接:https://juejin.im/post/5cc84cb6518825250e146c61

相关文章
相关标签/搜索