只有光头才能变强html
索引和锁在数据库中能够说是很是重要的知识点了,在面试中也会常常会被问到的。mysql
本文力求简单讲清每一个知识点,但愿你们看完能有所收获git
声明:若是没有说明具体的数据库和存储引擎,默认指的是MySQL中的InnoDB存储引擎程序员
在以前,我对索引有如下的认知:github
INSERT/UPDATE/DELETE
操做就不要创建索引了,换言之:索引会下降插入、删除、修改等维护任务的速度。看起来好像啥都知道,但面试让你说的时候可能就GG了:面试
首先Mysql的基本存储结构是页(记录都存在页里边):算法
因此说,若是咱们写select * from user where username = 'Java3y'
这样没有进行任何优化的sql语句,默认会这样作:sql
很明显,在数据量很大的状况下这样查找会很慢!数据库
索引作了些什么可让咱们查询加快速度呢?segmentfault
其实就是将无序的数据变成有序(相对):
要找到id为8的记录简要步骤:
很明显的是:没有用索引咱们是须要遍历双向链表来定位对应的页,如今经过**“目录”**就能够很快地定位到对应的页上了!
其实底层结构就是B+树,B+树做为树的一种实现,可以让咱们很快地查找出对应的记录。
参考资料:
B+树是平衡树的一种。
平衡树:它是一棵空树或它的左右两个子树的高度差的绝对值不超过1,而且左右两个子树都是一棵平衡二叉树。
若是一棵普通的树在极端的状况下,是能退化成链表的(树的优势就不复存在了)
B+树是平衡树的一种,是不会退化成链表的,树的高度都是相对比较低的(基本符合矮矮胖胖(均衡)的结构)【这样一来咱们检索的时间复杂度就是O(logn)】!从上一节的图咱们也能够看见,创建索引实际上就是创建一颗B+树。
B+树删除和修改具体可参考:
除了B+树以外,还有一种常见的是哈希索引。
哈希索引就是采用必定的哈希算法,把键值换算成新的哈希值,检索时不须要相似B+树那样从根节点到叶子节点逐级查找,只需一次哈希算法便可马上定位到相应的位置,速度很是快。
看起来哈希索引很牛逼啊,但其实哈希索引有好几个局限(根据他本质的原理可得):
参考资料:
主流的仍是使用B+树索引比较多,对于哈希索引,InnoDB是自适应哈希索引的(hash索引的建立由InnoDB存储引擎引擎自动优化建立,咱们干预不了)!
参考资料:
简单归纳:
区别:
非汇集索引也叫作二级索引,不用纠结那么多名词,将其等价就好了~
非汇集索引在创建的时候也未必是单列的,能够多个列来建立索引。
在建立多列索引中也涉及到了一种特殊的索引-->覆盖索引
好比说:
(username,age)
,在查询数据的时候:select username , age from user where username = 'Java3y' and age = 20
。最左匹配原则:
(a)
,也能够复杂如多个列(a, b, c, d)
,即联合索引。(>、<、between、like
左匹配)等就不能进一步匹配了,后续退化为线性查找。例子:
(a, b, c, d)
,查询条件a = 1 and b = 2 and c > 3 and d = 4
,则会在每一个节点依次命中a、b、c,没法命中d。(很简单:索引命中只能是相等的状况,不能是范围匹配)不须要考虑=、in等的顺序,mysql会自动优化这些条件的顺序,以匹配尽量多的索引列。
例子:
(a, b, c, d)
,查询条件c > 3 and b = 2 and a = 1 and d < 4
与a = 1 and c > 3 and b = 2 and d < 4
等顺序都是能够的,MySQL会自动优化为a = 1 and b = 2 and c > 3 and d < 4
,依次命中a、b、c。索引在数据库中是一个很是重要的知识点!上面谈的其实就是索引最基本的东西,要建立出好的索引要顾及到不少的方面:
(>,<,BETWEEN,LIKE)
就中止匹配。COUNT(DISTINCT col) / COUNT(*)
。表示字段不重复的比率,比率越大咱们扫描的记录数就越少。FROM_UNIXTIME(create_time) = '2016-06-06'
就不能使用索引,缘由很简单,B+树中存储的都是数据表中的字段值,可是进行检索时,须要把全部元素都应用函数才能比较,显然这样的代价太大。因此语句要写成 : create_time = UNIX_TIMESTAMP('2016-06-06')
。参考资料:
在mysql中的锁看起来是很复杂的,由于有一大堆的东西和名词:排它锁,共享锁,表锁,页锁,间隙锁,意向排它锁,意向共享锁,行锁,读锁,写锁,乐观锁,悲观锁,死锁。这些名词有的博客又直接写锁的英文的简写--->X锁,S锁,IS锁,IX锁,MMVC...
锁的相关知识又跟存储引擎,索引,事务的隔离级别都是关联的....
这就给初学数据库锁的人带来很多的麻烦~~~因而我下面就简单整理一下数据库锁的知识点,但愿你们看完会有所帮助。
很多人在开发的时候,应该不多会注意到这些锁的问题,也不多会给程序加锁(除了库存这些对数量准确性要求极高的状况下)
通常也就听过常说的乐观锁和悲观锁,了解过基本的含义以后就没了~~~
定心丸:即便咱们不会这些锁知识,咱们的程序在通常状况下仍是能够跑得好好的。由于这些锁数据库隐式帮咱们加了
UPDATE、DELETE、INSERT
语句,InnoDB会自动给涉及数据集加排他锁(X)SELECT
前,会自动给涉及的全部表加读锁,在执行更新操做(UPDATE、DELETE、INSERT
等)前,会自动给涉及的表加写锁,这个过程并不须要用户干预只会在某些特定的场景下才须要手动加锁,学习数据库锁知识就是为了:
首先,从锁的粒度,咱们能够分红两大类:
不一样的存储引擎支持的锁粒度是不同的:
InnoDB只有经过索引条件检索数据才使用行级锁,不然,InnoDB将使用表锁
表锁下又分为两种模式:
从上面已经看到了:读锁和写锁是互斥的,读写操做是串行。
max_write_lock_count
和low-priority-updates
值得注意的是:
The LOCAL modifier enables nonconflicting INSERT statements (concurrent inserts) by other sessions to execute while the lock is held. (See Section 8.11.3, “Concurrent Inserts”.) However, READ LOCAL cannot be used if you are going to manipulate the database using processes external to the server while you hold the lock. For InnoDB tables, READ LOCAL is the same as READ
concurrent_insert
来指定哪一种模式,在MyISAM中它默认是:若是MyISAM表中没有空洞(即表的中间没有被删除的行),MyISAM容许在一个进程读表的同时,另外一个进程从表尾插入记录。参考资料:
上边简单讲解了表锁的相关知识,咱们使用Mysql通常是使用InnoDB存储引擎的。InnoDB和MyISAM有两个本质的区别:
从上面也说了:咱们是不多手动加表锁的。表锁对咱们程序员来讲几乎是透明的,即便InnoDB不走索引,加的表锁也是自动的!
咱们应该更加关注行锁的内容,由于InnoDB一大特性就是支持行锁!
InnoDB实现了如下两种类型的行锁。
看完上面的有没有发现,在一开始所说的:X锁,S锁,读锁,写锁,共享锁,排它锁其实总共就两个锁,只不过它们有多个名字罢了~~~
Intention locks do not block anything except full table requests (for example, LOCK TABLES ... WRITE). The main purpose of intention locks is to show that someone is locking a row, or going to lock a row in the table.
另外,为了容许行锁和表锁共存,实现多粒度锁机制,InnoDB还有两种内部使用的意向锁(Intention Locks),这两种意向锁都是表锁:
参考资料:
数据库事务有不一样的隔离级别,不一样的隔离级别对锁的使用是不一样的,锁的应用最终致使不一样事务的隔离级别
MVCC(Multi-Version Concurrency Control)多版本并发控制,能够简单地认为:MVCC就是行级锁的一个变种(升级版)。
在表锁中咱们读写是阻塞的,基于提高并发性能的考虑,MVCC通常读写是不阻塞的(因此说MVCC不少状况下避免了加锁的操做)
快照有两个级别:
Read committed
隔离级别Repeatable read
隔离级别咱们在初学的时候已经知道,事务的隔离级别有4种:
Read uncommitted
会出现的现象--->脏读:一个事务读取到另一个事务未提交的数据
Read committed
避免脏读的作法其实很简单:
但Read committed
出现的现象--->不可重复读:一个事务读取到另一个事务已经提交的数据,也就是说一个事务能够看到其余事务所作的修改
上面也说了,Read committed
是语句级别的快照!每次读取的都是当前最新的版本!
Repeatable read
避免不可重复读是事务级别的快照!每次读取的都是当前事务的版本,即便被修改了,也只会读取当前事务版本的数据。
呃...若是仍是不太清楚,咱们来看看InnoDB的MVCC是怎么样的吧(摘抄《高性能MySQL》)
至于虚读(幻读):是指在一个事务内读取到了别的事务插入的数据,致使先后读取不一致。
Repeatable read
隔离级别加上GAP间隙锁已经处理了幻读了。参考资料:
扩展阅读:
不管是Read committed
仍是Repeatable read
隔离级别,都是为了解决读写冲突的问题。
单纯在Repeatable read
隔离级别下咱们来考虑一个问题:
此时,用户李四的操做就丢失掉了:
(ps:暂时没有想到比较好的例子来讲明更新丢失的问题,虽然上面的例子也是更新丢失,但必定程度上是可接受的..不知道有没有人能想到不可接受的更新丢失例子呢...)
解决的方法:
- 乐观锁是一种思想,具体实现是,表中有一个版本字段,第一次读的时候,获取到这个字段。处理完业务逻辑开始更新的时候,须要再次查看该字段的值是否和第一次的同样。若是同样更新,反之拒绝。之因此叫乐观,由于这个模式没有从数据库加锁,等到更新的时候再判断是否能够更新。
- 悲观锁是数据库层面加锁,都会阻塞去等待锁。
因此,按照上面的例子。咱们使用悲观锁的话其实很简单(手动加行锁就好了):
select * from xxxx for update
在select 语句后边加了 for update
至关于加了排它锁(写锁),加了写锁之后,其余的事务就不能对它修改了!须要等待当前事务修改完以后才能够修改.
select ... for update
,李四就没法对该条记录修改了~乐观锁不是数据库层面上的锁,是须要本身手动去加的锁。通常咱们添加一个版本字段来实现:
具体过程是这样的:
张三select * from table
--->会查询出记录出来,同时会有一个version字段
李四select * from table
--->会查询出记录出来,同时会有一个version字段
李四对这条记录作修改:update A set Name=lisi,version=version+1 where ID=#{id} and version=#{version}
,判断以前查询到的version与如今的数据的version进行比较,同时会更新version字段
此时数据库记录以下:
张三也对这条记录修改:update A set Name=lisi,version=version+1 where ID=#{id} and version=#{version}
,但失败了!由于当前数据库中的版本跟查询出来的版本不一致!
参考资料:
当咱们用范围条件检索数据而不是相等条件检索数据,并请求共享或排他锁时,InnoDB会给符合范围条件的已有数据记录的索引项加锁;对于键值在条件范围内但并不存在的记录,叫作“间隙(GAP)”。InnoDB也会对这个“间隙”加锁,这种锁机制就是所谓的间隙锁。
值得注意的是:间隙锁只会在Repeatable read
隔离级别下使用~
例子:假如emp表中只有101条记录,其empid的值分别是1,2,...,100,101
Select * from emp where empid > 100 for update;
复制代码
上面是一个范围查询,InnoDB不只会对符合条件的empid值为101的记录加锁,也会对empid大于101(这些记录并不存在)的“间隙”加锁。
InnoDB使用间隙锁的目的有两个:
Repeatable read
隔离级别下再经过GAP锁便可避免了幻读)并发的问题就少不了死锁,在MySQL中一样会存在死锁的问题。
但通常来讲MySQL经过回滚帮咱们解决了很多死锁的问题了,但死锁是没法彻底避免的,能够经过如下的经验参考,来尽量少遇到死锁:
参考资料:
上面说了一大堆关于MySQL数据库锁的东西,如今来简单总结一下。
表锁其实咱们程序员是不多关心它的:
如今咱们大多数使用MySQL都是使用InnoDB,InnoDB支持行锁:
在默认的状况下,select
是不加任何行锁的~事务能够经过如下语句显示给记录集加共享锁或排他锁。
SELECT * FROM table_name WHERE ... LOCK IN SHARE MODE
。SELECT * FROM table_name WHERE ... FOR UPDATE
。InnoDB基于行锁还实现了MVCC多版本并发控制,MVCC在隔离级别下的Read committed
和Repeatable read
下工做。MVCC可以实现读写不阻塞!
InnoDB实现的Repeatable read
隔离级别配合GAP间隙锁已经避免了幻读!
参考资料:
本文主要介绍了数据库中的两个比较重要的知识点:索引和锁。他俩能够说息息相关的,锁会涉及到不少关于索引的知识~
我我的比较重视对总体知识点的把控,一些细节的地方可能就没有去编写了。在每个知识点下都会有不少的内容,有兴趣的同窗能够在我给出的连接中继续阅读学习。固然了,若是有比较好的文章和资料也不妨在评论区分享一下哈~
我只是在学习的过程当中,把本身遇到的问题写出来,整理出来,但愿能够对你们有帮助。若是文章有错的地方,但愿你们能够在评论区指正,一块儿学习交流~
参考资料:
若是文章有错的地方欢迎指正,你们互相交流。习惯在微信看技术文章,想要获取更多的Java资源的同窗,能够关注微信公众号:Java3y。
文章的目录导航: