后端程序员必备：mysql数据库相关流程图/原理图

前言

整理了一些Mysql数据库相关流程图/原理图，作一下笔记，你们一块儿学习。

1.mysql主从复制原理图

mysql主从复制原理是大厂后端的高频面试题，了解mysql主从复制原理很是有必要。

主从复制原理，简言之，就三步曲，以下：

• 主数据库有个bin-log二进制文件，纪录了全部增删改Sql语句。（binlog线程）
• 从数据库把主数据库的bin-log文件的sql语句复制过来。（io线程）
• 从数据库的relay-log重作日志文件中再执行一次这些sql语句。（Sql执行线程）

以下图所示：

上图主从复制分了五个步骤进行：

步骤一：主库的更新事件(update、insert、delete)被写到binlog

步骤二：从库发起链接，链接到主库。

步骤三：此时主库建立一个binlog dump thread，把binlog的内容发送到从库。

步骤四：从库启动以后，建立一个I/O线程，读取主库传过来的binlog内容并写入到relay log

步骤五：还会建立一个SQL线程，从relay log里面读取内容，从Exec_Master_Log_Pos位置开始执行读取到的更新事件，将更新内容写入到slave的db

2.Mysql逻辑架构图

若是能在脑海中构建出MySql各组件之间如何协同工做的架构图，就会有助于深刻理解MySql服务器

Mysql逻辑架构图主要分三层：

1) 第一层负责链接处理，受权认证，安全等等

• 每一个客户端链接都会在服务器进程中拥有一个线程，服务器维护了一个线程池，所以不须要为每个新建的链接建立或者销毁线程。
• 当客户端链接到Mysql服务器时，服务器对其进行认证，经过用户名和密码认证，也能够经过SSL证书进行认证。
• 一旦客户端链接成功，服务器会继续验证客户端是否具备执行某个特定查询的权限。

2）第二层负责编译并优化SQL

• 这一层包括查询解析，分析，优化，缓存以及全部的的内置函数。
• 对于SELECT语句，在解析查询前，服务器会先检查查询缓存，若是能在其中找到对应的查询结果，则无需再进行查询解析、优化等过程，直接返回查询结果。
• 全部跨存储引擎的功能都在这一层实现:存储过程，触发器，视图。

3）第三层是存储引擎。

• 存储引擎负责在MySQL中存储数据、提取数据。
• 存储引擎经过API与上层进行通讯，这些API屏蔽了不一样存储引擎之间的差别，使得这些差别对上层查询过程透明。
• 存储引擎不会去解析SQL，不一样存储引擎之间也不会相互通讯，而只是简单地响应上层服务器的请求。

3.InnoDb 逻辑存储结构图

从InnoDb 存储引擎的逻辑存储结构看，全部数据都被逻辑地存放在一个空间中，称之为表空间（tablespace）。表空间又由段（segment），区（extent），页（page）组成。页在一些文档中有时候也称为块（block）。 InnoDb 逻辑存储结构图以下：

表空间（tablespace）

• 表空间是Innodb存储引擎逻辑的最高层，全部的数据都存放在表空间中。
• 默认状况下，Innodb存储引擎有一个共享表空间ibdata1,即全部数据都存放在这个表空间中内。
• 若是启用了innodb_file_per_table参数，须要注意的是每张表的表空间内存放的只是数据、索引、和插入缓冲Bitmap，其余类的数据，好比回滚(undo)信息、插入缓冲检索页、系统事物信息，二次写缓冲等仍是放在原来的共享表内的。

段（segment）

• 表空间由段组成，常见的段有数据段、索引段、回滚段等。
• InnoDB存储引擎表是索引组织的，所以数据即索引，索引即数据。数据段即为B+树的叶子结点，索引段即为B+树的非索引结点。
• 在InnoDB存储引擎中对段的管理都是由引擎自身所完成，DBA不能也不必对其进行控制。

区（extent）

• 区是由连续页组成的空间，在任何状况下每一个区的大小都为1MB。
• 为了保证区中页的连续性，InnoDB存储引擎一次从磁盘申请4~5个区。
• 默认状况下，InnoDB存储引擎页的大小为16KB，一个区中一共64个连续的区。

页（page）

• 页是InnoDB磁盘管理的最小单位。
• 在InnoDB存储引擎中，默认每一个页的大小为16KB。
• 从InnoDB1.2.x版本开始，能够经过参数innodb_page_size将页的大小设置为4K，8K，16K。
• InnoDB存储引擎中，常见的页类型有：数据页，undo页，系统页，事务数据页，插入缓冲位图页，插入缓冲空闲列表页等。

4.Innodb页结构相关示意图

Innodb页结构单体图

InnoDB数据页由如下7部分组成，如图所示：

其中File Header、Page Header、File Trailer的大小是固定的，分别为38，56，8字节，这些空间用来标记该页的一些信息，如Checksum，数据页所在B+树索引的层数等。User Records、Free Space、Page Directory这些部分为实际的行记录存储空间，所以大小是动态的。

下边咱们用表格的方式来大体描述一下这7个部分：

记录在页中的存储流程图

每当咱们插入一条记录，都会从Free Space部分，也就是还没有使用的存储空间中申请一个记录大小的空间划分到User Records部分，当Free Space部分的空间所有被User Records部分替代掉以后，也就意味着这个页使用完了，若是还有新的记录插入的话，就须要去申请新的页了，这个过程的图示以下：

不一样Innodb页构成的数据结构图

一张表中能够有成千上万条记录，一个页只有16KB，因此可能须要好多页来存放数据。不一样页其实构成了一条双向链表，File Header是InnoDB页的第一部分，它的FIL_PAGE_PREV和FIL_PAGE_NEXT就分别表明本页的上一个和下一个页的页号，即链表的上一个以及下一个节点指针。

5.Innodb索引结构图

咱们先看一份数据表样本，假设Col1是主键，以下：

B+树汇集索引结构图

• 汇集索引就是以主键建立的索引
• 汇集索引在叶子节点存储的是表中的数据

非汇集索引结构图

假设索引列为Col3，索引结构图以下：

• 非汇集索引就是以非主键建立的索引
• 非汇集索引在叶子节点存储的是主键和索引列
• 使用非汇集索引查询出数据时，拿到叶子上的主键再去查到想要查找的数据。(拿到主键再查找这个过程叫作回表)
• 假设所查询的列，恰好都是索引对应的列，不用再回表查，那么这个索引列，就叫覆盖索引。

InnoDB 锁类型思惟导图

加锁机制

乐观锁与悲观锁是两种并发控制的思想，可用于解决丢失更新问题。

乐观锁

• 每次去取数据，都很乐观，以为不会出现并发问题。
• 所以，访问、处理数据每次都不上锁。
• 可是在更新的时候，再根据版本号或时间戳判断是否有冲突，有则处理，无则提交事务。

悲观锁

• 每次去取数据，很悲观，都以为会被别人修改，会有并发问题。
• 所以，访问、处理数据前就加排他锁。
• 在整个数据处理过程当中锁定数据，事务提交或回滚后才释放锁.

锁粒度

• 表锁： 开销小，加锁快；锁定力度大，发生锁冲突几率高，并发度最低;不会出现死锁。
• 行锁： 开销大，加锁慢；会出现死锁；锁定粒度小，发生锁冲突的几率低，并发度高。
• 页锁： 开销和加锁速度介于表锁和行锁之间；会出现死锁；锁定粒度介于表锁和行锁之间，并发度通常

兼容性

共享锁：

• 又称读锁（S锁）。
• 一个事务获取了共享锁，其余事务能够获取共享锁，不能获取排他锁，其余事务能够进行读操做，不能进行写操做。
• SELECT ... LOCK IN SHARE MODE 显示加共享锁。

排他锁：

• 又称写锁（X锁）。
• 若是事务T对数据A加上排他锁后，则其余事务不能再对A加任任何类型的封锁。获准排他锁的事务既能读数据，又能修改数据。
• SELECT ... FOR UPDATE 显示添加排他锁。

锁模式

• 记录锁： 在行相应的索引记录上的锁，锁定一个行记录
• gap锁： 是在索引记录间歇上的锁,锁定一个区间
• next-key锁： 是记录锁和在此索引记录以前的gap上的锁的结合，锁定行记录+区间。
• 意向锁 是为了支持多种粒度锁同时存在；

参考与感谢

• 《MySQL技术内幕》
• 《高性能MySql》
• MySQL InnoDB锁机制全面解析分享 segmentfault.com/a/119000001…
• 数据库两大神器【索引和锁】 juejin.im/post/5b55b8…
• InnoDB的逻辑存储结构学习 blog.csdn.net/m0_37752084…
• MySQL索引背后的数据结构及算法原理 blog.codinglabs.org/articles/th…

我的公众号

欢迎你们关注，你们一块儿学习，一块儿讨论哈。