腾讯工程师带你深刻解析 MySQL binlog
欢迎你们前往云+社区，获取更多腾讯海量技术实践干货哦~php
做者：腾讯云数据库内核团队 html
原文标题：【腾讯云CDB】深刻解析MySQL binlogmysql
1.概述
binlog是Mysql sever层维护的一种二进制日志，与innodb引擎中的redo/undo log是彻底不一样的日志；其主要是用来记录对mysql数据更新或潜在发生更新的SQL语句，并以"事务"的形式保存在磁盘中；sql
做用主要有：数据库
- 复制：MySQL Replication在Master端开启binlog，Master把它的二进制日志传递给slaves并回放来达到master-slave数据一致的目的
- 数据恢复：经过mysqlbinlog工具恢复数据
- 增量备份
2.binlog管理
- 开启binlogmy.cnf配置中设置：log_bin="存放binlog路径目录"
binlog信息查询binlog开启后，能够在配置文件中查看其位置信息，也能够在myslq命令行中查看：
show variables like '%log_bin%';
+---------------------------------+-------------------------------------+
| Variable_name | Value |
+---------------------------------+-------------------------------------+
| log_bin | ON |
| log_bin_basename | /var/lib/mysql/3306/mysql-bin |
| log_bin_index | /var/lib/mysql/3306/mysql-bin.index |
| log_bin_trust_function_creators | OFF |
| log_bin_use_v1_row_events | OFF |
| sql_log_bin | ON |
+---------------------------------+-------------------------------------+复制代码
binlog文件开启binlog后，会在数据目录（默认）生产host-bin.n（具体binlog信息）文件及host-bin.index索引文件（记录binlog文件列表）。当binlog日志写满(binlog大小max_binlog_size，默认1G),或者数据库重启才会生产新文件，可是也可经过手工进行切换让其从新生成新的文件（flush logs）；另外，若是正使用大的事务，因为一个事务不能横跨两个文件，所以也可能在binlog文件未满的状况下刷新文件
mysql> show binary logs; //查看binlog文件列表,
+------------------+-----------+
| Log_name | File_size |
+------------------+-----------+
| mysql-bin.000001 | 177 |
| mysql-bin.000002 | 177 |
| mysql-bin.000003 | 10343266 |
| mysql-bin.000004 | 10485660 |
| mysql-bin.000005 | 53177 |
| mysql-bin.000006 | 2177 |
| mysql-bin.000007 | 1383 |
+------------------+-----------+复制代码
查看binlog的状态：show master status可查看当前二进制日志文件的状态信息，显示正在写入的二进制文件，及当前position
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000007 | 120 | | | |
+------------------+----------+--------------+------------------+-------------------+复制代码
- reset master 清空binlog日志文件
3.binlog内容
默认状况下binlog日志是二进制格式，没法直接查看。可以使用两种方式进行查看：bash
a. mysqlbinlog: /usr/bin/mysqlbinlog mysql-bin.000007
- mysqlbinlog是mysql官方提供的一个binlog查看工具，
- 也可以使用–read-from-remote-server从远程服务器读取二进制日志，
- 还可以使用--start-position --stop-position、--start-time= --stop-time精确解析binlog日志
截取位置1190-1352 binlog以下：
***************************************************************************************
# at 1190 //事件的起点
#171223 21:56:26 server id 123 end_log_pos 1190 CRC32 0xf75c94a7 Intvar
SET INSERT_ID=2/*!*/;
#171223 21:56:26 server id 123 end_log_pos 1352 CRC32 0xefa42fea Query thread_id=4 exec_time=0 error_code=0
SET TIMESTAMP=1514123786/*!*/; //开始事务的时间起点 (每一个at即为一个event)
insert into tb_person set name="name__2", address="beijing", sex="man", other="nothing" //sql语句
/*!*/;
# at 1352
#171223 21:56:26 server id 123 end_log_pos 1383 CRC32 0x72c565d3 Xid = 5 //执行时间，及位置戳，Xid:事件指示提交的XA事务
***************************************************************************************
b.直命令行解析
SHOW BINLOG EVENTS
[IN 'log_name'] //要查询的binlog文件名
[FROM pos]
[LIMIT [offset,] row_count]
1190-135以下：mysql> show binlog events in 'mysql-bin.000007' from 1190 limit 2\G
*************************** 13. row ***************************
Log_name: mysql-bin.000007
Pos: 1190
Event_type: Query //事件类型
Server_id: 123
End_log_pos: 1352 //结束pose点，下个事件的起点
Info: use `test`; insert into tb_person set name="name__2", address="beijing", sex="man", other="nothing"
*************************** 14. row ***************************
Log_name: mysql-bin.000007
Pos: 1352
Event_type: Xid
Server_id: 123
End_log_pos: 1383
Info: COMMIT /* xid=51 */复制代码
4.binlog格式
Mysql binlog日志有ROW,Statement,MiXED三种格式；可经过my.cnf配置文件及 ==set global binlog_format='ROW/STATEMENT/MIXED'== 进行修改，命令行 ==show variables like 'binlog_format'== 命令查看binglog格式；。服务器
- Row level: 仅保存记录被修改细节，不记录sql语句上下文相关信息优势：能很是清晰的记录下每行数据的修改细节，不须要记录上下文相关信息，所以不会发生某些特定状况下的procedure、function、及trigger的调用触发没法被正确复制的问题，任何状况均可以被复制，且能加快从库重放日志的效率，保证从库数据的一致性 缺点:因为全部的执行的语句在日志中都将以每行记录的修改细节来记录，所以，可能会产生大量的日志内容，干扰内容也较多；好比一条update语句，如修改多条记录，则binlog中每一条修改都会有记录，这样形成binlog日志量会很大，特别是当执行alter table之类的语句的时候，因为表结构修改，每条记录都发生改变，那么该表每一条记录都会记录到日志中，实际等于重建了表。 tip: - row模式生成的sql编码须要解码，不能用常规的办法去生成，须要加上相应的参数(--base64-output=decode-rows -v)才能显示出sql语句; - 新版本binlog默认为ROW level，且5.6新增了一个参数：binlog_row_image；把binlog_row_image设置为minimal之后，binlog记录的就只是影响的列，大大减小了日志内容
- Statement level: 每一条会修改数据的sql都会记录在binlog中优势：只须要记录执行语句的细节和上下文环境，避免了记录每一行的变化，在一些修改记录较多的状况下相比ROW level能大大减小binlog日志量，节约IO，提升性能；还能够用于实时的还原；同时主从版本能够不同，从服务器版本能够比主服务器版本高 缺点：为了保证sql语句能在slave上正确执行，必须记录上下文信息，以保证全部语句能在slave获得和在master端执行时候相同的结果；另外，主从复制时，存在部分函数（如sleep）及存储过程在slave上会出现与master结果不一致的状况，而相比Row level记录每一行的变化细节，毫不会发生这种不一致的状况
- Mixedlevel level: 以上两种level的混合使用通过前面的对比，能够发现ROW level和statement level各有优点，如能根据sql语句取舍可能会有更好地性能和效果；Mixed level即是以上两种leve的结合。不过，新版本的MySQL对row level模式也被作了优化，并非全部的修改都会以row level来记录，像遇到表结构变动的时候就会以statement模式来记录，若是sql语句确实就是update或者delete等修改数据的语句，那么仍是会记录全部行的变动；所以，如今通常使用row level便可。
- 选取规则若是是采用 INSERT，UPDATE，DELETE 直接操做表的状况，则日志格式根据 binlog_format 的设定而记录 若是是采用 GRANT，REVOKE，SET PASSWORD 等管理语句来作的话，那么不管如何都采用statement模式记录
5.复制
复制是mysql最重要的功能之一，mysql集群的高可用、负载均衡和读写分离都是基于复制来实现的；从5.6开始复制有两种实现方式，基于binlog和基于GTID（全局事务标示符）；本文接下来将介绍基于binlog的一主一从复制；其复制的基本过程以下：负载均衡
a.Master将数据改变记录到二进制日志(binary log)中
b.Slave上面的IO进程链接上Master，并请求从指定日志文件的指定位置（或者从最开始的日志）以后的日志内容
c.Master接收到来自Slave的IO进程的请求后，负责复制的IO进程会根据请求信息读取日志指定位置以后的日志信息，返回给Slave的IO进程。
返回信息中除了日志所包含的信息以外，还包括本次返回的信息已经到Master端的bin-log文件的名称以及bin-log的位置
d.Slave的IO进程接收到信息后，将接收到的日志内容依次添加到Slave端的relay-log文件的最末端，并将读取到的Master端的 bin-log的
文件名和位置记录到master-info文件中，以便在下一次读取的时候可以清楚的告诉Master从某个bin-log的哪一个位置开始日后的日志内容
e.Slave的Sql进程检测到relay-log中新增长了内容后，会立刻解析relay-log的内容成为在Master端真实执行时候的那些可执行的内容，并在自身执行复制代码
接下来使用实例演示基于binlog的主从复制：函数
a.配置master
主要包括设置复制帐号，并授予REPLICATION SLAVE权限，具体信息会存储在于master.info文件中，及开启binlog；
mysql> CREATE USER 'test'@'%' IDENTIFIED BY '123456';
mysql> GRANT REPLICATION SLAVE ON *.* TO 'test'@'%';
mysql> show variables like "log_bin";
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin | ON |
+---------------+-------+
查看master当前binlogmysql状态：mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000003 | 120 | | | |
+------------------+----------+--------------+------------------+-------------------+
建表插入数据：
CREATE TABLE `tb_person` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`name` varchar(36) NOT NULL,
`address` varchar(36) NOT NULL DEFAULT '',
`sex` varchar(12) NOT NULL DEFAULT 'Man' ,
`other` varchar(256) NOT NULL ,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=0 DEFAULT CHARSET=utf8;
insert into tb_person set name="name1", address="beijing", sex="man", other="nothing";
insert into tb_person set name="name2", address="beijing", sex="man", other="nothing";
insert into tb_person set name="name3", address="beijing", sex="man", other="nothing";
insert into tb_person set name="name4", address="beijing", sex="man", other="nothing";
b.配置slave
Slave的配置相似master，需额外设置relay_log参数，slave没有必要开启二进制日志，若是slave为其它slave的master，须设置bin_log
c.链接master
mysql> CHANGE MASTER TO
MASTER_HOST='10.108.111.14',
MASTER_USER='test',
MASTER_PASSWORD='123456',
MASTER_LOG_FILE='mysql-bin.000003',
MASTER_LOG_POS=120;
d.show slave status;
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: ---------------------------- slave io状态，表示还未启动
Master_Host: 10.108.111.14
Master_User: test
Master_Port: 20126
Connect_Retry: 60 ------------------------- master宕机或链接丢失从服务器线程从新尝试链接主服务器以前睡眠时间
Master_Log_File: mysql-bin.000003 ------------ 当前读取master binlog文件
Read_Master_Log_Pos: 120 ------------------------- slave读取master binlog文件位置
Relay_Log_File: relay-bin.000001 ------------ 回放binlog
Relay_Log_Pos: 4 -------------------------- 回放relay log位置
Relay_Master_Log_File: mysql-bin.000003 ------------ 回放log对应maser binlog文件
Slave_IO_Running: No
Slave_SQL_Running: No
Exec_Master_Log_Pos: 0 --------------------------- 相对于master从库的sql线程执行到的位置
Seconds_Behind_Master: NULL
Slave_IO_State, Slave_IO_Running, 和Slave_SQL_Running为NO说明slave尚未开始复制过程。
e.启动复制
start slave
f.再次观察slave状态
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event -- 等待master新的event
Master_Host: 10.108.111.14
Master_User: test
Master_Port: 20126
Connect_Retry: 60
Master_Log_File: mysql-bin.000003
Read_Master_Log_Pos: 3469 ---------------------------- 3469 等于Exec_Master_Log_Pos，已完成回放
Relay_Log_File: relay-bin.000002 ||
Relay_Log_Pos: 1423 ||
Relay_Master_Log_File: mysql-bin.000003 ||
Slave_IO_Running: Yes ||
Slave_SQL_Running: Yes ||
Exec_Master_Log_Pos: 3469 -----------------------------3469 等于slave读取master binlog位置，已完成回放
Seconds_Behind_Master: 0
可看到slave的I/O和SQL线程都已经开始运行，并且Seconds_Behind_Master=0。Relay_Log_Pos增长，意味着一些事件被获取并执行了。
最后看下如何正确判断SLAVE的延迟状况，断定slave是否追上master的binlog：
一、首先看 Relay_Master_Log_File 和 Maser_Log_File 是否有差别；
二、若是Relay_Master_Log_File 和 Master_Log_File 是同样的话，再来看Exec_Master_Log_Pos 和 Read_Master_Log_Pos 的差别，对比SQL线程比IO线程慢了多少个binlog事件；
三、若是Relay_Master_Log_File 和 Master_Log_File 不同，那说明延迟可能较大，须要从MASTER上取得binlog status，判断当前的binlog和MASTER上的差距；
四、若是以上都不能发现问题，可以使用pt_heartbeat工具来监控主备复制的延迟。
g.查询slave数据，主从一致
mysql> select * from tb_person;
+----+-------+---------+-----+---------+
| id | name | address | sex | other |
+----+-------+---------+-----+---------+
| 5 | name4 | beijing | man | nothing |
| 6 | name2 | beijing | man | nothing |
| 7 | name1 | beijing | man | nothing |
| 8 | name3 | beijing | man | nothing |
+----+-------+---------+-----+---------+
关于mysql复制的内容还有不少，好比不一样的同步方式、复制格式状况下有什么区别，有什么特色，应该在什么状况下使用....这里再也不一一介绍。复制代码
6.恢复
恢复是binlog的两大主要做用之一，接下来经过实例演示如何利用binlog恢复数据：
a.首先，看下当前binlog位置
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000008 | 1847 | | | |
+------------------+----------+--------------+------------------+-------------------+
b.向表tb_person中插入两条记录：
insert into tb_person set name="person_1", address="beijing", sex="man", other="test-1";
insert into tb_person set name="person_2", address="beijing", sex="man", other="test-2";
c.记录当前binlog位置：
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000008 | 2585 | | | |
+------------------+----------+--------------+------------------+-------------------+
d.查询数据
mysql> select * from tb_person where name ="person_2" or name="person_1";
+----+----------+---------+-----+--------+
| id | name | address | sex | other |
+----+----------+---------+-----+--------+
| 6 | person_1 | beijing | man | test-1 |
| 7 | person_2 | beijing | man | test-2 |
+----+----------+---------+-----+--------+
e.删除一条: delete from tb_person where name ="person_2";
mysql> select * from tb_person where name ="person_2" or name="person_1";
+----+----------+---------+-----+--------+
| id | name | address | sex | other |
+----+----------+---------+-----+--------+
| 6 | person_1 | beijing | man | test-1 |
+----+----------+---------+-----+--------+
f. binlog恢复（指定pos点恢复/部分恢复）
mysqlbinlog --start-position=1847 --stop-position=2585 mysql-bin.000008 > test.sql
mysql> source /var/lib/mysql/3306/test.sql
d.数据恢复完成
mysql> select * from tb_person where name ="person_2" or name="person_1";
+----+----------+---------+-----+--------+
| id | name | address | sex | other |
+----+----------+---------+-----+--------+
| 6 | person_1 | beijing | man | test-1 |
| 7 | person_2 | beijing | man | test-2 |
+----+----------+---------+-----+--------+
e.总结
恢复，就是让mysql将保存在binlog日志中指定段落区间的sql语句逐个从新执行一次而已复制代码
7.总结
本文简要介绍binlog原理及其在恢复、复制中的使用方法；工具
8.参考
-
https://dev.mysql.com/doc/internals/en/binary-log-versions.html
-
http://www.php.cn/mysql-tutorials-361643.html
-
https://www.jianshu.com/p/c16686b35807
- http://www.javashuo.com/article/p-agnutcsh-u.html
相关阅读
此文已由做者受权云加社区发布，转载请注明文章出处；
相关文章
- 1. 腾讯工程师带你深刻解析 MySQL binlog
- 2. 腾讯工程师教你玩转 RocksDB
- 3. 一线工程师带你深刻学习和使用Kubernetes
- 4. 滴滴工程师带你深刻理解 TCP 握手分手全过程
- 5. 腾讯 深圳 25928-PHP开发工程师（深圳）
- 6. 腾讯2019年PHP工程师面试题和答案解析
- 7. MySQL Binlog解析
- 8. 解析mysql binlog
- 9. [深圳] 腾讯云招聘后台开发工程师
- 10. MySQL Binlog 解析工具 Maxwell 详解
- 更多相关文章...
- • XML DOM 解析器 - XML DOM 教程
- • Swift 析构过程 - Swift 教程
- • 互联网组织的未来：剖析GitHub员工的任性之源
- • 漫谈MySQL的锁机制
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
