mysql索引之聚簇索引与非聚簇索引

时间 2019-11-29

标签 mysql 索引栏目 MySQL 繁體版

原文原文链接

1 数据结构及算法基础

1.1 索引的本质

官方定义：索引（Index）是帮助MySQL高效获取数据的数据结构
本质：索引是数据结构php

查询是数据库的最主要功能之一。咱们都但愿查询速度能尽量快，所以数据库系统的设计者会从查询算法角度优化css

最基本的查询算法固然是顺序查找（linear search），这种复杂度为O(n)的算法在数据量很大时显然是糟糕的
好在CS的发展提供了不少更优秀的查找算法，如二分查找（binary search）、二叉树查找（binary tree search）等
稍微分析一下会发现，每种查找算法都只能应用于特定数据结构，如二分查找要求被检索数据有序，而二叉树查找只能应用于二叉查找树，但数据自己的组织结构不可能彻底知足各类数据结构（例如，理论上不可能同时将两列都按顺序进行组织）
因此，在数据以外，数据库系统还维护着知足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就能够在这些数据结构上实现高级查找算法
这种ADT，就是索引
java

图1 一个例子

图1展现了一种可能的索引方式
左边是数据表，两列14条记录，最左边是数据记录的物理地址（注意逻辑上相邻的记录在磁盘上并不必定物理相邻）
为加快Col2的查找，可维护一个右边所示二叉查找树，每一个节点分别包含索引键值及一个指向对应数据记录物理地址的指针，这样就能够运用二叉查找在O(log2 N)内取到相应数据

虽然这是一个货真价实的索引，但实际数据库系统几乎没有使用二叉查找树或其进化品种红黑树（red-black tree）实现node

1.2 经典经常使用索引类型:B Tree和B+Tree

目前大部分数据库系统及文件系统都采用B Tree或其变种B+Tree做为索引结构mysql

1.2.1 B Tree

定义数据记录为一个二元组[key, data]web

key为记录的键值，对于不一样数据记录，key互不相同
data为数据记录除key外的数据

B Tree有以下特色:算法

d为大于1的一个正整数，称为B-Tree的度
h为一个正整数，称为B-Tree的高度
每一个非叶节点由n-1个key和n个指针组成，其中d<=n<=2d
每一个叶节点最少包含一个key和两个指针，最多包含2d-1个key和2d个指针，叶节点的指针均为null
全部叶节点具备相同的深度，等于树高h
key和指针互相间隔，节点两端是指针
一个节点中的key从左到右非递减排列
全部节点组成树结构
每一个指针要么为null，要么指向另一个节点
若是某个指针在节点node最左边且不为null，则其指向节点的全部key小于>v(key1),v(key1)为node的第一个key的值
若是某个指针在节点node最右边且不为null，则其指向节点的全部key大于v(keym),v(keym)为node的最后一个key的值。
若是某个指针在节点node的左右相邻key分别是keyi,keyi+1且不为null，则其指向节点的全部key小于v(keyi+1)且大于v(keyi)sql

图2 d=2的B-Tree示意图

因为B Tree的特性,按key检索数据的算法很是直观数据库
首先从根节点二分查找
若是找到则返回对应节点的data
不然对相应区间的指针指向的节点递归进行查找
直到找到目标节点/null指针，查找成功/失败

bTreeSearch(node, key) { if(node == null) return null; foreach(node.key) { if(node.key[i] == key) return node.data[i]; if(node.key[i] > key) return bTreeSearch(point[i]->node); } return bTreeSearch(point[i+1]->node); } data = bTreeSearch(root, my_key);

关于B-Tree有一系列有趣的性质，例如一个度为d的B-Tree，设其索引N个key，则其树高h的上限为

检索一个key，其查找节点个数的渐进时间复杂度为

从这点能够看出，B Tree是一个很是有效率的索引数据结构

1.2.2 B+Tree

B-Tree有许多变种，其中最多见的是B+Tree，MySQL广泛用其实现索引
与B Tree相比，B+Tree有如下不一样点缓存

每一个节点的指针上限为2d
内节点只存key
叶节点不存指针,叶节点指向被索引的数据而不是其余叶节点
- innodb中,指向的是主键
- myshaym中指向的是数据的物理地址
  
  图3 一个简单的B+Tree

因为并非全部节点都具备相同的域，所以B+Tree中叶节点和内节点通常大小不一样
这点与B Tree不一样，虽然B Tree中不一样节点存放的key和指针可能数量不一致，可是每一个节点的域和上限是一致的，因此在实现中B Tree每每对每一个节点申请同等大小的空间

通常来讲，B+Tree比B Tree更适合实现外存储索引结构

1.2.2.1 带有顺序访问指针的B+Tree

在经典B+Tree的基础上进行了优化，增长了顺序访问指针

图4

如图4所示，在B+Tree的每一个叶节点增长一个指向相邻叶节点指针，造成带有顺序访问指针的B+Tree
此优化的目的是提升区间访问的性能，例如图4中若是要查询key为从18到49的全部数据记录，当找到18后，只需顺着节点和指针顺序遍历就能够一次性访问到全部数据节点，极大提升了区间查询效率

1.3 为何使用B Tree（B+Tree）

红黑树也可用来实现索引，可是文件系统及数据库系统广泛采用B/+Tree,何也?

通常来讲，索引自己也很大，不可能全存内存，每每以索引文件的形式存在磁盘

索引查找过程当中就要产生磁盘I/O消耗，相对于内存存取，I/O存取的消耗要高几个数量级，因此评价一个数据结构做为索引的优劣最重要的指标就是在查找过程当中磁盘I/O操做次数的渐进复杂度。

B树在提升了IO性能的同时并无解决元素遍历的我效率低下的问题,正是为了解决这个问题,B+树应用而生.B+树只须要去遍历叶子节点就能够实现整棵树的遍历.并且在数据库中基于范围的查询是很是频繁的，而B树不支持这样的操做（或者说效率过低）.

换句话说，索引的结构组织要尽可能减小查找过程当中磁盘I/O的存取次数

1.4 主存存取原理

计算机使用的主存基本都是随机读写存储器（RAM），抽象出一个十分简单的存取模型来讲明RAM的工做原理

图5 4x4的主存模型

从抽象角度看，主存是一系列的存储单元组成的矩阵，每一个存储单元存储固定大小的数据
每一个存储单元有惟一的地址，现代主存的编址规则比较复杂，这里将其简化成一个二维地址：经过一个行地址和一个列地址能够惟必定位到一个存储单元

存取过程
当系统须要读取主存时，将地址信号经过地址总线传给主存，主存读到地址信号后，解析信号并定位到指定存储单元，而后将此存储单元数据放到数据总线，供其它部件读取
写主存
过程相似，系统将要写入单元地址和数据分别放在地址总线和数据总线上，主存读取两个总线的内容，作相应的写操做

这里能够看出，主存存取的时间仅与存取次数呈线性关系，由于不存在机械操做，两次存取的数据的“距离”不会对时间有任何影响，例如，先取A0再取A1和先取A0再取D3的时间消耗是同样的

1.5 磁盘存取原理

索引通常以文件形式存储在磁盘上，索引检索须要磁盘I/O
与主存不一样，磁盘I/O存在机械消耗，所以磁盘I/O时间消耗巨大

图6 磁盘的总体结构示意图

磁盘由大小相同且同轴的圆形盘片组成，磁盘能够转动（各磁盘必须同步转动）
在磁盘的一侧有磁头支架，磁头支架固定了一组磁头，每一个磁头负责存取一个磁盘的内容。磁头不能转动，可是能够沿磁盘半径方向运动（实际是斜切向运动），每一个磁头同一时刻也必须是同轴的，即从正上方向下看，全部磁头任什么时候候都是重叠的（不过目前已经有多磁头独立技术，可不受此限制）

图7 磁盘结构的示意图

盘片被划分红一系列同心环，圆心是盘片中心，每一个同心环叫作一个磁道，全部半径相同的磁道组成一个柱面。磁道被沿半径线划分红一个个小的段，每一个段叫作一个扇区，每一个扇区是磁盘的最小存储单元。为了简单起见，咱们下面假设磁盘只有一个盘片和一个磁头。

当须要从磁盘读取数据时，系统会将数据逻辑地址传给磁盘，磁盘的控制电路按照寻址逻辑将逻辑地址翻译成物理地址，即肯定要读的数据在哪一个磁道，哪一个扇区
为了读取这个扇区的数据，须要将磁头放到这个扇区上方，为了实现这一点，磁头须要移动对准相应磁道，这个过程叫作寻道，所耗费时间叫作寻道时间，而后磁盘旋转将目标扇区旋转到磁头下，这个过程耗费的时间叫作旋转时间

1.6 局部性原理与磁盘预读

因为存储介质特性，磁盘自己存取就比主存慢，再加上机械运动耗费，磁盘的存取速度每每是主存的几百万分之一，所以为了提升效率，要尽可能减小磁盘I/O。
为了达到这个目的，磁盘每每不是严格按需读取，而是每次都会预读，即便只须要一个字节，磁盘也会从这个位置开始，顺序向后读取必定长度的数据放入内存。这样作的理论依据是计算机科学中著名的局部性原理：
当一个数据被用到时，其附近的数据也一般会立刻被使用
程序运行期间所须要的数据一般比较集中
因为磁盘顺序读取的效率很高（不须要寻道时间，只需不多的旋转时间），所以对于具备局部性的程序来讲，预读能够提升I/O效率

预读的长度通常为页（page）的整数倍
页是存储器的逻辑块，操做系统每每将主存和磁盘存储区分割为连续的大小相等的块，每一个存储块称为一页（在许多操做系统中，页大小一般为4k），主存和磁盘以页为单位交换数据
当程序要读取的数据不在主存中时，会触发一个缺页异常，此时系统会向磁盘发出读盘信号，磁盘会找到数据的起始位置并向后连续读取一页或几页载入内存中，而后异常返回，程序继续运行

1.7 B/+Tree索引的性能分析

通常使用磁盘I/O次数评价索引结构的优劣

B Tree分析

检索一次最多须要访问h个节点
数据库系统的设计者巧妙利用了磁盘预读原理，将一个节点的大小设为等于一个页，这样每一个节点只须要一次I/O就能够彻底载入
为了达到这个目的，在实际实现B-Tree还须要使用以下技巧：

每次新建节点时，直接申请一个页的空间，这样就保证一个节点物理上也存储在一个页里，加之计算机存储分配都是按页对齐的，就实现了一个node只需一次I/O
B-Tree中一次检索最多须要h-1次I/O（根节点是常驻内存的），渐进复杂度为O(h)=O(logdN)。
通常实际应用中，出度d是很是大的数字，一般超过100，所以h很是小（一般不超过3）

综上所述，用B-Tree做为索引结构效率是很是高的

红黑树

h明显要深的多。因为逻辑上很近的节点（父子）物理上可能很远，没法利用局部性，因此红黑树的I/O渐进复杂度也为O(h)，效率明显比B-Tree差不少

B+Tree更适合外存索引，缘由和内节点出度d有关
从上面分析能够看到，d越大索引的性能越好
出度的上限取决于节点内key和data的大小：

dmax=floor(pagesize/(keysize+datasize+pointsize))

floor表示向下取整。因为B+Tree内节点去掉了data域，所以能够拥有更大的出度，更好的性能

2. MySQL索引实现

索引属于存储引擎级别的概念，不一样存储引擎对索引的实现方式是不一样的，主要讨论MyISAM和InnoDB两个存储引擎的索引实现方式

2.1 MyISAM索引实现

使用B+Tree做为索引结构，叶节点data域存放数据记录的地址

图8 MyISAM索引的原理图

设Col1为主键，则图8是一个MyISAM表的主索引（Primary key）示例
能够看出MyISAM的索引文件仅仅保存数据记录的地址

在MyISAM中，主/辅索引在结构上没有任何区别，只是主索引要求key惟一，而辅索引key可重复

若是咱们在Col2上创建一个辅索引

图9 Col2上创建的辅索引

一样也是一颗B+Tree，data域保存数据记录的地址。
所以，MyISAM中索引检索的算法为首先按照B+Tree搜索算法搜索索引，若是指定的Key存在，则取出其data域的值，而后以data域的值为地址，读取相应数据记录。

MyISAM的索引方式也叫作“非汇集”的，之因此这么称呼是为了与InnoDB的汇集索引区分

2.2 InnoDB索引实现

虽然InnoDB也使用B+Tree做为索引结构，但具体实现方式却与MyISAM大相径庭

第一个重大区别是

InnoDB的数据文件自己就是索引文件
- MyISAM索引文件和数据文件是分离的，索引文件仅保存数据记录的地址
- 而在InnoDB中，表数据文件自己就是按B+Tree组织的一个索引结构，这棵树的叶节点data域保存了完整的数据记录。这个索引的key是数据表的主键，所以InnoDB表数据文件自己就是主索引
  
  图10 InnoDB主索引（同时也是数据文件）示意图
  
  能够看到叶节点包含了完整的数据记录。这种索引叫作汇集索引
  由于InnoDB的数据文件自己要按主键汇集，因此InnoDB要求表必须有主键（MyISAM能够没有），若是没有显式指定，则MySQL系统会自动选择一个能够惟一标识数据记录的列做为主键，若是不存在这种列，则MySQL自动为InnoDB表生成一个隐含字段做为主键，这个字段长度为6个字节，类型为长整形

第二个与MyISAM索引的不一样是

InnoDB的辅索引data域存储相应记录主键的值而不是地址。换句话说，InnoDB的全部辅助索引都引用主键做为data域

图11 定义在Col3上的一个辅索引

这里以英文字符的ASCII码做为比较准则
汇集索引这种实现方式使得按主键的搜索十分高效，可是辅助索引搜索须要检索两遍索引：
- 首先检索辅助索引得到主键
- 而后用主键到主索引中检索得到记录

知道了InnoDB的索引实现后，就很容易明白为何不建议使用过长的字段做为主键，由于全部辅索引都引用主索引，过长的主索引会令辅索引变得过大
再如，用非单调的字段做为主键在InnoDB中不是个好主意，由于InnoDB数据文件自己是一颗B+Tree，非单调的主键会形成在插入新记录时数据文件为了维持B+Tree的特性而频繁的分裂调整，十分低效，而使用自增字段做为主键则是一个很好的选择

聚簇索引

聚簇索引并非一种单独的索引类型，而是一种数据存储方式
具体的细节依赖于其实现方式，但innoddb 的聚簇索引实际上在同一个结构中保存了B-Tree索引和数据行
是对磁盘上实际数据从新组织以按指定的一个或多个列的值排序的算法。特色是存储数据的顺序和索引顺序一致。
通常状况下主键会默认建立聚簇索引，且一张表只容许存在一个聚簇索引

当表有聚簇索引时，它的数据实际上存放在索引的叶子页（leaf page）中
术语‘聚簇’表示数据行和相邻的键值进错的存储在一块儿
由于没法同时把数据行存放在两个不一样的地方，因此在一个表中只能有一个聚簇索引 （不过，覆盖索引能够模拟多个聚簇索引的状况）。

InnoDb将经过主键汇集数据。

若是没有定义主键，InnoDB 会选择一个惟一的非空索引代替
若是没有这样的索引，InnoDB 会隐式定义一个主键来做为聚簇索引
InnoDB值汇集在同一个页面中的记录,包含相邻键值的页面可能会相距很远

InnoDB 和 MyISAM的数据分布对比

聚簇索引和非聚簇索引的数据分布有区别，以及对应的主键索引和二级索引的数据分布也有区别
来看看InnoDB和MyISAM是如何存储下面的这个表的

CREATE TABLE layout_test( 　　　　col1 int not null, 　　　　col2 int not null, 　　　 primary key (col1), 　　　　key(col2) 　　);

假设该表的主键取值为1-1w，按照随机顺序插入，并使用OPTIMIZE TABLE命令优化
换句话说，数据在磁盘的存储方式已经最优，但进行的顺序是随机的
列col2的值时从1-100之间随机赋值，因此有不少重复的值

MyISAM 的数据分布

MyIsam按照数据插入的顺序存储在磁盘上

实际上，MyISAM 中主键索引和其余索引在结构上没有什么不一样
主键索引就是一个名为PRIMARY的惟一非空索引

InnoDB 的数据分布

由于InnoDB支持聚簇索引，索引使用很是不一样的方式存储一样的数据。在InnoDB中，聚簇索引“是”表，因此不像myISAM那样须要独立的行存储

聚簇索引的一些重要优势：

能够把相关的数据保存在一块儿
例如，实现电子邮箱时，能够根据用户id来汇集数据这样只须要从磁盘读取少数的数据页就能获取某个用户的所有邮件。若是没有使用聚簇索引，则每封邮件均可能致使一次I/O
数据访问更快
聚簇索引将索引和数据保存在同一个B-Tree中，所以从聚簇索引中获取数据一般比非聚簇索引中快
使用覆盖索引扫描的查询能够直接使用页节点中的主键值。

聚簇索引的缺点：

聚簇索引最大限度的提升了io密集型应用的性能，但若是数据所有存放在内存中，则访问的顺序就没那么重要了，聚簇索引也就没有什么优点了。

插入速度严重依赖插入顺序。按照主键的顺序插入是加载数据到innodb表中速度最快的方式。但若是不是按照主键顺序加载数据，那么加载完成后最好使用OPTIMIZE TABLE 命令来从新组织一下表。

更新聚簇索引的代价很高，由于会强制InooDB将每一个更新的数据移动到新的位置。

基于聚簇索引的表在插入行，或者主键被更新致使须要移动行的时候，可能面临’页分裂（page split）‘的问题。当行的主键值要求必须将这一行插入到某个已满的页中时。存储引擎，存储引擎会将该页分裂成两个页面来容纳该行，这就是一次页分裂操做。页分裂会致使表占用更多的存储空间。

聚簇索引可能致使全表扫描变慢，尤为是行比较稀疏，或者因为页分裂致使数据存储不连续的时候。

二级索引（非聚簇索引）可能比想象的要更大，由于在二级索引的子节点包含了最优一个几点可能让人有些疑惑，为何二级索引须要两次索引查找？答案在于二级索引中保存的“行指针”的实质。要记住，二级索引叶子节点保存的不是只想物理位置的指针，而是行的主键值。

这意味着经过二级索引进行查找行，存储引擎须要找到二级索引的子节点得到对应的主键值，而后根据这个值去聚簇索引总超找到对应的行。这里作了重复的工做：两次B-Tree查找，而不是一次。对于InnoDB，自适应哈希索引可以减小这样重复工做。

在《数据库原理》一书中是这么解释聚簇索引和非聚簇索引的区别的：

聚簇索引的叶子节点就是数据节点
非聚簇索引的叶子节点仍然是索引节点，只不过有指向对应数据块的指针。

所以，MYSQL中不一样的数据存储引擎对聚簇索引的支持不一样就很好解释了。
下面，咱们能够看一下MYISAM和INNODB两种引擎的索引结构。

如原始数据为：

MyISAM引擎的数据存储方式,如图

MYISAM是按列值与行号来组织索引的
它的叶子节点中保存的其实是指向存放数据的物理块的指针。

MYISAM引擎的索引文件（.MYI）和数据文件(.MYD)是相互独立的。

而InnoDB按聚簇索引的形式存储数据，因此它的数据布局有着很大的不一样。它存储数据的结构大体以下：

注：聚簇索引中的每一个叶子节点包含主键值、事务ID、回滚指针(rollback pointer用于事务和MVCC）和余下的列(如col2)。

INNODB的二级索引与主键索引有很大的不一样。InnoDB的二级索引的叶子包含主键值，而不是行指针(row pointers)，这减少了移动数据或者数据页面分裂时维护二级索引的开销，由于InnoDB不须要更新索引的行指针。其结构大体以下：

INNODB和MYISAM的主键索引与二级索引的对比：

InnoDB的的二级索引的叶子节点存放的是KEY字段加主键值。所以，经过二级索引查询首先查到是主键值，而后InnoDB再根据查到的主键值经过主键索引找到相应的数据块。而MyISAM的二级索引叶子节点存放的仍是列值与行号的组合，叶子节点中保存的是数据的物理地址。因此能够看出MYISAM的主键索引和二级索引没有任何区别，主键索引仅仅只是一个叫作PRIMARY的惟1、非空的索引，且MYISAM引擎中能够不设主键。

3. 索引使用策略及优化

3.1 索引的好处

3.2 什么状况下能够用到B树索引

(1) 定义有主键的列必定要创建索引 : 主键能够加速定位到表中的某行
(2) 定义有外键的列必定要创建索引 : 外键列一般用于表与表之间的链接，在其上建立索引能够加快表间的链接
(3) 对于常常查询的数据列最好创建索引
① 对于须要在指定范围内快速或频繁查询的数据列，由于索引已经排序，其指定的范围是连续的，查询能够利用索引的排序，加快查询的时间
② 常常用在 where子句中的数据列，将索引创建在where子句的集合过程当中，对于须要加速或频繁检索的数据列，可让这些常常参与查询的数据列按照索引的排序进行查询，加快查询的时间

3.3 索引优化

MySQL的优化主要分为

结构优化（Scheme optimization）
查询优化（Query optimization）

本章讨论的高性能索引策略主要属于结构优化范畴

为了讨论索引策略，须要一个数据量不算小的数据库做为示例
选用MySQL官方文档中提供的示例数据库之一：employees
这个数据库关系复杂度适中，且数据量较大。下图是这个数据库的E-R关系图（引用自MySQL官方手册）：

图12 示例数据库

3.3.1 最左前缀原理与相关优化

高效使用索引的首要条件是知道什么样的查询会使用到索引，这个问题和B+Tree中的“最左前缀原理”有关，下面经过例子说明最左前缀原理

联合索引

MySQL中的索引能够以必定顺序引用多列，这种索引叫作联合索引，通常的，一个联合索引是一个有序元组<a1, a2, …, an>，其中各个元素均为数据表的一列

覆盖索引(Covering Indexes)

包含知足查询的全部列

只须要读索引而不用读数据,大大提升查询性能。有如下优势：
(1)索引项一般比记录要小，使得MySQL访问更少的数据
(2)索引都按值排序存储，相对于随机访问记录，须要更少的I/O
(3)大多数据引擎能更好的缓存索引。好比MyISAM只缓存索引
(4)覆盖索引对于InnoDB表尤为有用，由于InnoDB使用汇集索引组织数据，若是二级索引中包含查询所需的数据，就再也不须要在汇集索引中查找了

覆盖索引只有B-TREE索引存储相应的值
并非全部存储引擎都支持覆盖索引(Memory/Falcon)

覆盖索引

对于索引覆盖查询(index-covered query)，使用EXPLAIN时，能够在Extra列中看到Using index

在大多数引擎中，只有当查询语句所访问的列是索引的一部分时，索引才会覆盖
可是，InnoDB不限于此，InnoDB的二级索引在叶节点中存储了primary key的值

使用覆盖索引查询数据

select *不能用覆盖索引

以employees.titles表为例，下面先查看其上都有哪些索引：

从结果中能够看到titles表的主索引为<emp_no, title, from_date>，还有一个辅助索引<emp_no>
为了不多个索引使事情变复杂（MySQL的SQL优化器在多索引时行为比较复杂），咱们将辅助索引drop掉

ALTER TABLE employees.titles DROP INDEX emp_no;

这样就能够专心分析索引PRIMARY

状况一：全值匹配

很明显，当按照索引中全部列进行精确匹配（这里精确匹配指“=”或“IN”匹配）时，索引能够被用到。
这里有一点须要注意，理论上索引对顺序敏感，可是因为MySQL的查询优化器会自动调整where子句的条件顺序以使用适合的索引
例如咱们将where中的条件顺序颠倒

效果是同样的

状况二：最左前缀匹配

当查询条件精确匹配索引的左边连续一个或几个列时，如<emp_no>或<emp_no, title>，因此能够被用到，可是只能用到一部分，即条件所组成的最左前缀
上面的查询从分析结果看用到了PRIMARY索引，可是key_len为4，说明只用到了索引的第一列前缀

状况三：查询条件用到了索引中列的精确匹配，可是中间某个条件未提供

此时索引使用状况和状况二相同，由于title未提供，因此查询只用到了索引的第一列，然后面的from_date虽然也在索引中，可是因为title不存在而没法和左前缀链接，所以须要对结果进行过滤from_date（这里因为emp_no惟一，因此不存在扫描）
若是想让from_date也使用索引而不是where过滤，能够增长一个辅助索引<emp_no, from_date>，此时上面的查询会使用这个索引
除此以外，还可使用一种称之为“隔离列”的优化方法，将emp_no与from_date之间的“坑”填上

首先咱们看下title一共有几种不一样的值

只有7种
在这种成为“坑”的列值比较少的状况下，能够考虑用“IN”来填补这个“坑”从而造成最左前缀

此次key_len为59，说明索引被用全了，可是从type和rows看出IN实际上执行了一个range查询，这里检查了7个key。看下两种查询的性能比较：

“填坑”后性能提高了一点。若是通过emp_no筛选后余下不少数据，则后者性能优点会更加明显。固然，若是title的值不少，用填坑就不合适了，必须创建辅助索引

状况四：查询条件没有指定索引第一列

因为不是最左前缀，这样的查询显然用不到索引

状况五：匹配某列的前缀字符串

此时能够用到索引，通配符%不出如今开头，则能够用到索引，但根据具体状况不一样可能只会用其中一个前缀

状况六：范围查询(因为B+树的顺序特色,尤为适合此类查询)

范围列能够用到索引（必须是最左前缀），可是范围列后面的列没法用到索引
索引最多用于一个范围列，所以若是查询条件中有两个范围列则没法全用到索引
能够看到索引对第二个范围索引无能为力。这里特别要说明MySQL一个有意思的地方，那就是仅用explain可能没法区分范围索引和多值匹配，由于在type中这二者都显示为range
用了“between”并不意味着就是范围查询，例以下面的查询：

看起来是用了两个范围查询，但做用于emp_no上的“BETWEEN”实际上至关于“IN”，也就是说emp_no实际是多值精确匹配。能够看到这个查询用到了索引所有三个列。所以在MySQL中要谨慎地区分多值匹配和范围匹配，不然会对MySQL的行为产生困惑。

状况七：查询条件中含有函数或表达式

若是查询条件中含有函数或表达式，则MySQL不会为这列使用索引（虽然某些在数学意义上可使用）

虽然这个查询和状况五中功能相同，可是因为使用了函数left，则没法为title列应用索引，而状况五中用LIKE则能够。再如：

显然这个查询等价于查询emp_no为10001的函数，可是因为查询条件是一个表达式，MySQL没法为其使用索引。看来MySQL尚未智能到自动优化常量表达式的程度，所以在写查询语句时尽可能避免表达式出如今查询中，而是先手工私下代数运算，转换为无表达式的查询语句。

3.4 Btree索引的使用限制

3.4.1 如下状况下设置索引,但没法使用

① 以“%”开头的LIKE语句，模糊匹配
② OR语句先后没有同时使用索引
③ 数据类型出现隐式转化（如varchar不加单引号的话可能会自动转换为int型）

3.4.2 索引选择性与前缀索引

既然索引能够加快查询速度，那么是否是只要是查询语句，就建上索引呢?

答案是否认的。由于索引虽然加快了查询速度，但索引也是有代价的：索引文件自己要消耗存储空间

索引会加剧插入、删除和修改记录时的负担，增长写操做的成本
太多索引会增长查询优化器的分析选择时间
MySQL在运行时也要消耗资源维护索引

索引并非越多越好。下列状况下不建议建索引

对于那些查询中不多涉及的列、重复值比较多的列不要创建索引
例如，在查询中不多使用的列，有索引并不能提升查询的速度，相反增长了系统维护时间和消耗了系统空间
又如，“性别”列只有列值“男”和“女”，增长索引并不能显著提升查询的速度
对于定义为text、image和bit数据类型的列不要创建索引。由于这些数据类型的数据列的数据量要么很大，要么很小，不利于使用索引
表记录比较少
例如一两千条甚至只有几百条记录的表，不必建索引，让查询作全表扫描就行了
索引的选择性较低
所谓索引的选择性（Selectivity），是指不重复的索引值（也叫基数，Cardinality）与表记录数（#T）的比值
Index Selectivity = Cardinality / #T
显然选择性的取值范围为(0, 1]，选择性越高的索引价值越大，这是由B+Tree的性质决定的。
例如，上文用到的employees.titles表，若是title字段常常被单独查询，是否须要建索引，咱们看一下它的选择性

title的选择性不足0.0001（精确值为0.00001579），因此实在没有什么必要为其单独建索引

有一种与索引选择性有关的索引优化策略叫作前缀索引，就是用列的前缀代替整个列做为索引key，当前缀长度合适时，能够作到既使得前缀索引的选择性接近全列索引，同时由于索引key变短而减小了索引文件的大小和维护开销。下面以employees.employees表为例介绍前缀索引的选择和使用。

从图12能够看到employees表只有一个索引<emp_no>，那么若是咱们想按名字搜索一我的，就只能全表扫描了：

若是频繁按名字搜索员工，这样显然效率很低，所以咱们能够考虑建索引。有两种选择，建<first_name>或<first_name, last_name>，看下两个索引的选择性：

<first_name>显然选择性过低，<first_name, last_name>选择性很好，可是first_name和last_name加起来长度为30，有没有兼顾长度和选择性的办法？能够考虑用first_name和last_name的前几个字符创建索引，例如<first_name, left(last_name, 3)>，看看其选择性：

选择性还不错，但离0.9313仍是有点距离，那么把last_name前缀加到4：

这时选择性已经很理想了，而这个索引的长度只有18，比<first_name, last_name>短了接近一半，咱们把这个前缀索引建上：

ALTER TABLE employees.employees
ADD INDEX first_name_last_name4 (first_name, last_name(4));

此时再执行一遍按名字查询，比较分析一下与建索引前的结果：

性能的提高是显著的，查询速度提升了120多倍。

前缀索引兼顾索引大小和查询速度，可是其缺点是不能用于ORDER BY和GROUP BY操做，也不能用于Covering index（即当索引自己包含查询所需所有数据时，再也不访问数据文件自己）。

3.5 InnoDB的主键选择与插入优化

在使用InnoDB存储引擎时，若是没有特别的须要，请永远使用一个与业务无关的自增字段做为主键

常常看到有帖子或博客讨论主键选择问题，有人建议使用业务无关的自增主键，有人以为没有必要，彻底可使用如学号或身份证号这种惟一字段做为主键。不论支持哪一种论点，大多数论据都是业务层面的。
若是从数据库索引优化角度看，使用InnoDB引擎而不使用自增主键绝对是一个糟糕的主意

上文讨论过InnoDB的索引实现，InnoDB使用汇集索引，数据记录自己被存于主索引（一颗B+Tree）的叶子节点上。这就要求同一个叶子节点内（大小为一个内存页或磁盘页）的各条数据记录按主键顺序存放，所以每当有一条新的记录插入时，MySQL会根据其主键将其插入适当的节点和位置，若是页面达到装载因子（InnoDB默认为15/16），则开辟一个新的页（节点）。

若是表使用自增主键，那么每次插入新的记录，记录就会顺序添加到当前索引节点的后续位置，当一页写满，就会自动开辟一个新的页。以下图所示：

图13

这样就会造成一个紧凑的索引结构，近似顺序填满
因为每次插入时也不须要移动已有数据，所以效率很高，也不会增长不少开销在维护索引上。

若是使用非自增主键（若是身份证号或学号等），因为每次插入主键的值近似于随机，所以每次新纪录都要被插到现有索引页得中间某个位置：

此时MySQL不得不为了将新记录插到合适位置而移动数据，甚至目标页面可能已经被回写到磁盘上而从缓存中清掉，此时又要从磁盘上读回来，这增长了不少开销，同时频繁的移动、分页操做形成了大量的碎片，获得了不够紧凑的索引结构，后续不得不经过OPTIMIZE TABLE来重建表并优化填充页面。

所以，只要能够，请尽可能在InnoDB上采用自增字段作主键。

与排序（ORDER BY）相关的索引优化及覆盖索引（Covering index）的话题本文并未涉及，
全文索引等等本文也并未涉及

4 Hash索引

MySQL提供四种索引

B-Tree索引:最多见的的索引，大部分引擎支持B树索引
HASH索引:只有Memory引擎支持，使用场景简单
R-Tree索引:空间索引是MyISAM的一个特殊索引类型，主要用于地理空间数据类型，一般使用较少
Full-text：全文索引也是MyISAM的一个特殊索引，主要用于全文索引，InnoDb从MySql5.6开始提供支持全文索引

MySql目前不支持函数索引，可是能对列的前面某一部分进行索引，例如标题title字段，能够只取title的前10个字符索引，这样的特性大大缩小了索引文件的大小，但前缀索引也有缺点，在排序order by和分组group by操做的时候没法使用

create index idx_title on film(title(10));

索引	MyISAM引擎	InnoDB引擎	Memory引擎
B-Tree索引	支持	支持	支持
HASH索引	不支持	不支持	支持
R-Tree索引	支持	不支持	不支持
Full-text索引	支持	暂不支持	不支持

经常使用的索引就是B-tree索引和hash索引，资只有memory引擎支持HASH索引，hash索引适用于key-value查询，经过hash索引比B-tree索引查询更加迅速，可是hash索引不支持范围查找例如<><==,>==等操做，若是使用memory引擎而且where不使用=进行索引列，就不会用的索引。Memory只有在"="的条件下才会使用索引

4.0 特色

4.1 Hash索引的限制

Btree模拟

哈希索引只有Memory,NDB两种引擎支持，Memory引擎默认支持哈希索引，若是多个hash值相同，出现哈希碰撞，那么索引以链表方式存储

可是，Memory引擎表只对可以适合机器的内存切实有限的数据集。

要使InnoDB或MyISAM支持哈希索引，能够经过伪哈希索引来实现，叫自适应哈希索引。

主要经过增长一个字段，存储hash值，将hash值创建索引，在插入和更新的时候，创建触发器，自动添加计算后的hash到表里。

直接索引

假若有一个很是很是大的表，以下：

CREATE TABLE IF NOT EXISTS `User` ( `id` int(10) NOT NULL COMMENT '自增id', `name` varchar(128) NOT NULL DEFAULT '' COMMENT '用户名', `email` varchar(128) NOT NULL DEFAULT '' COMMENT '用户邮箱', `pass` varchar(64) NOT NULL DEFAULT '' COMMENT '用户密码', `last` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '最后登陆时间', ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

这个时候，好比说，用户登录，我须要经过email检索出用户，经过explain获得以下：

mysql> explain SELECT id FROM User WHERE email = ‘ooxx@gmail.com’ LIMIT 1;

+----+-------------+-------+------+---------------+------+---------+------+--------+-------------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+-------+------+---------------+------+---------+------+--------+-------------+ | 1 | SIMPLE | User | ALL | NULL | NULL | NULL | NULL | 384742 | Using where | +----+-------------+-------+------+---------------+------+---------+------+--------+-------------+

发现 rows = 384742 也就是要在384742里面进行比对email这个字段的字符串。

这条记录运行的时间是：Query took 0.1744 seconds，数据库的大小是40万。

从上面能够说明，若是直接在email上面创建索引，除了索引区间匹配，还要进行字符串匹配比对，email短还好，若是长的话这个查询代价就比较大。

若是这个时候，在email上创建哈希索引，查询以int查询，性能就比字符串比对查询快多了。

Hash 算法

创建哈希索引，先选定哈希算法，这里选用CRC32。

《高性能MySQL》说到的方法CRC32算法，创建SHA或MD5算法是划算的，自己位数都有可能比email段长了。

INSERT UPDATE SELECT 操做

在表中添加hash值的字段：

mysql> ALTER TABLE User ADD COLUMN email_hash int unsigned NOT NULL DEFAULT 0;

接下来就是在UPDATE和INSERT的时候，自动更新 email_hash 字段，经过MySQL触发器实现：

DELIMITER | CREATE TRIGGER user_hash_insert BEFORE INSERT ON `User` FOR EACH ROW BEGIN SET NEW.email_hash=crc32(NEW.email); END; | CREATE TRIGGER user_hash_update BEFORE UPDATE ON `User` FOR EACH ROW BEGIN SET NEW.email_hash=crc32(NEW.email); END; | DELIMITER ;

这样的话，咱们的SELECT请求就会变成这样：

mysql> SELECT email, email_hash FROM User WHERE email_hash = CRC32(“F2dgTSWRBXSZ1d3O@gmail.com”) AND email= “F2dgTSWRBXSZ1d3O@gmail.com”;

+----------------------------+------------+ | email | email_hash | +----------------------------+------------+ | F2dgTSWRBXSZ1d3O@gmail.com | 2765311122 | +----------------------------+------------+

在没创建hash索引时候，请求时间是 0.2374 seconds，创建完索引后，请求时间直接变成 0.0003 seconds。

AND email = "F2dgTSWRBXSZ1d3O@gmail.com" 是为了防止哈希碰撞致使数据不许确。

0x02.Hash Index 缺点

哈希索引也有几个缺点：

索引存放的是hash值,因此仅支持 < = > 以及 IN 操做
hash索引没法经过操做索引来排序，由于存放的时候通过hash计算，可是计算的hash值和存放的不必定相等，因此没法排序
不能避免全表扫描，只是因为在memory表里支持非惟一值hash索引，就是不一样的索引键，可能存在相同的hash值
若是哈希碰撞不少的话，性能也会变得不好
哈希索引没法被用来避免数据的排序