MySQL binlog相关分析

一、redolog、binlog的简单分析

　　图解：redolog和binlog机制

二、开启binlog及关注点

三、关注binlog的相关参数

四、binlog模式分析

五、关于binlog的使用

补充：双一模式

1、区别redolog和binlog

一、以下表格的一个简单对比

	redolog	binlog
日志做用	保护脏数据	数据库备份恢复使用
引擎支持	只适合InnoDB引擎	全部引擎
日志格式	物理日志	逻辑日志,SQL语句
提交方式	快速提交	提交时一次性写入
保存形式	会被循环覆盖	长期保存

二、redolog记录的是对于每一个页的修改

　　数据页地址、行地址、操做类型（I/D）、数据

　　e.g：一个update修改100行，至少产生200行redo日志，因此DML产生的redo可能很大：

　　　　100、二、D

　　　　100、二、I、'value'

　　　　……

　　实际就是update table set ……100(数据页地址) 2(行地址)

三、binlog只是记录DML、DDL、DCL，不记录SELECT

　　经过参数设置控制binlog的记录模式：

　　一、语句模式

　　　　e.g：delete from t1 where id<=1000;

　　二、行模式

　　　　delete from t1 where id=1;

　　　　delete from t1 where id=2;

　　　　……

　　　　delete from t1 where id=1000;

四、图解redolog、binlog机制

注意：

　　在oracle里面虽然redolog也是循环覆盖的，可是在循环覆盖以前，数据库会将redo拷贝出来作个归档，因此oracle里能够用redolog作数据恢复。 

 

2、开启binlog及相关关注点

一、开启binlog

mysql> show variables like 'log_bin'; +---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | OFF   |　　#默认是关闭的
+---------------+-------+
 mysql> set @@global.log_bin=on; ERROR 1238 (HY000): Variable 'log_bin' is a read only variable

　　修改配置文件/etc/my.cnf，在[mysqld]下添加：

server-id=1 log-bin=mysql-bin

　　重启MySQL，便可……binlog的启动大概会为mysql增长1%的负载，所以在绝大多数状况下，binlog都不会成为mysql的性能瓶颈，因此通常都是会开启binlog的。

二、binlog的存放

mysql> show variables like 'log_bin%'; +---------------------------------+-------------------------+
| Variable_name                   | Value                   |
+---------------------------------+-------------------------+
| log_bin                         | ON                      |
| log_bin_basename                | /mydata/mysql-bin       |　　#binlog文件，注意：每次重启会生成一个新的binlog文件
| log_bin_index                   | /mydata/mysql-bin.index |　　#二进制的索引文件，记录使用的binlog文件名

三、如何手工切换binlog

　　一、重启数据库，每次重启都会新切binlog

　　二、mysql> flush logs;

四、查看binlog日志文件

[root@localhost mydata]# mysqlbinlog -vv mysql-bin.000001 
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/; /*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/; DELIMITER /*!*/; # at 4 #170707  8:14:29 server id 1  end_log_pos 123 CRC32 0xf307168d     Start: binlog v 4, server v 5.7.14-log created 170707  8:14:29 at startup # Warning: this binlog is either in use or was not closed properly. ROLLBACK/*!*/; BINLOG '
…………

 

3、关注binlog相关参数

　　mysql> show variables like '%bin%';

一、binlog_cache_size　　

　　//设置binlog cache(默认32K)，每一个线程单独分配内存空间

　　全部未提交的二进制日志文件会被记录到用户工做空间的binlog cache中，等该事务提交时直接将缓冲区中的binlog写入二进制日志文件里

mysql> show global status like 'Binlog_cache_disk_use'; +-----------------------+-------+
| Variable_name         | Value |
+-----------------------+-------+
| Binlog_cache_disk_use | 0     |
+-----------------------+-------+

　　判断binlog_cache_size是否设置太小的依据，若是Binlog_cache_disk_use>0(次数)，说明事务未提交，binlog在用户工做空间存放不下，须要借用tmp目录。

二、log_bin

　　//设置名字前缀

　　--log-bin [=file_name]：设置此参数表示启用binlog功能，并指定路径名称，生产中都要开启binlog。

　　sql_log_bin：会话级别的binlog开关控制，默认是开启的，能够在当前会话级别动态修改临时关闭binlog（主从延迟优化），set session sql_log_bin=0；

三、sync_binlog

　　//同步binlog的方式

　　0：默认，提交同步到文件系统缓存

　　1：commit，经过fsync方式，直接写入disk的binlog文件中(最安全)，与redo的双一模式。

　　>1：sync_binlog=N，若是N>1，在乎外发生的时候，就表示会有N-1个dml没有被写入binlog中，有可能就会发生主从数据不一致的状况。

四、max_binlog_size

　　//binlog文件大小，默认1G

　　若是是row模式，须要增长binlog文件的大小，由于行模式产生的日志量相对较大。若是超过了该值，就会产生新的日志文件，后缀名+1，而且记录到.index文件里面。

五、binlog_format

　　//row、statement、mixed，设置binlog记录的模式：行模式、语句模式、mixed模式。动态参数，能够会话级别修改

六、--binlog-do-db、--binlog-ingore-db

　　//command-line format，表示须要写入或者忽略写入哪些库的日志，默认为空，表示能够将全部库的日志写入到二进制文件里面。

七、log-slave-updates

　　//启用从机服务器上的slave日志功能，使这台计算机能够用来构成一个镜像链(A->B->C)  ，可让从库上面产生二进制日志文件，在从库上再挂载一个从库。

八、binlog_rows_query_log_events

　　//便于定位执行过的SQL语句

九、expire_logs_days

　　//binlog过时清理时间，默认是0：不自动清除

　　binlog的删除策略，假设expire_logs_days=5，表示系统保留5天binlog，第六天到来时会删除第一天的binlog。

　　一、删除策略的风险：

　　　　一、删除会致使太高的io，从而致使业务出现性能抖动

　　　　二、主从延迟

　　二、解决：手工主动删除binlog

　　　　PURGE BINARY LOGS　　#同时删除binlog文件和binlog索引文件记录，如此说来用rm删除binlog和vim修改对应binlog索引文件记录，效果同purge。

Syntax: 　　PURGE { BINARY | MASTER } LOGS 　　{ TO 'log_name' | BEFORE datetime_expr } mysql> PURGE BINARY LOGS TO 'mysql-bin.000003';　　#删到3，也就是删了一、2。

 

4、binlog_format有哪些

一、STATEMENT

　　每一条会修改数据的sql都会记录在binlog中。

　　优势：不须要记录每一行的变化，减小了binlog日志量，节约了IO，提升性能。只须要记录在 master 上所执行的语句的细节，以及执行语句时候的上下文的信息。

　　缺点：因为记录的只是执行语句，为了这些语句能在slave上正确运行，所以还必须记录每条语句在执行的时候的一些相关信息，以保证全部语句能在slave获得和在master端执行时候相同的结果。像一些特定函数功能，slave可与master上要保持一致会有不少相关问题(如sleep()函数，rand()函数等会出现问题warning)。

二、ROW

　　不记录sql语句上下文相关信息，仅保存哪条记录被修改，也就是说日志中会记录成每一行数据被修改的形式，而后在 slave 端再对相同的数据进行修改。

　　优势：binlog中能够不记录执行的sql语句的上下文相关的信息，仅须要记录那一条记录被修改为什么了。因此rowlevel的日志内容会很是清楚的记录下每一行数据修改的细节。并且不会出现某些特定状况下的存储过程，或function，以及trigger的调用和触发没法被正确复制的问题。

　　缺点：在 row 模式下，全部的执行的语句当记录到日志中的时候，都将以每行记录的修改来记录，这样可能会产生大量的日志内容。

三、MIXED

　　是以上两种level的混合使用，通常的语句修改使用statment格式保存binlog，如一些函数，statement没法完成主从复制的操做，则采用row格式保存binlog，MySQL会根据执行的每一条具体的sql语句来区分对待记录的日志形式，也就是在Statement和Row之间选择一种；

　　新版本的MySQL中对row模式也被作了优化，并非全部的修改都会以rowl来记录，像遇到表结构变动的时候就会以statement模式来记录。至于update或者delete等修改数据的语句，仍是会记录全部行的变动。

 

5、binlog的使用

一、二进制日志两个最重要的使用场景

　　一、MySQL replication在master端开启binlog，master把它的二进制日志传递给slaves来达到master-slave数据一致的目的，也就是主从备份。

　　二、数据恢复，经过使用mysqlbinlog工具来使恢复数据

二、经常使用binlog日志操做命令

　　一、查看全部binlog日志列表

　　　　mysql> show master logs;

　　二、查看master状态，即最后(最新)一个binlog日志的编号名称，及其最后一个操做事件pos结束点(Position)值

　　　　mysql> show master status;　　//结合上述binlog文件，进行binlog生成速度监控

　　三、刷新log日志，自此刻开始产生一个新编号的binlog日志文件

　　　　mysql> flush logs;　　//注：每当mysqld服务重启时，会自动执行此命令，刷新binlog日志；在mysqldump备份数据时加 -F 选项也会刷新binlog日志；

　　四、重置(清空)全部binlog日志

　　　　mysql> reset master;

三、查看binlog日志内容

　　一、OS层面查看binlog文件

　　　　shell> mysqlbinlog -vv mysql-bin.000001

　　二、数据库层面show binlog events

　　　　mysql> show binlog events [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count];

　　　　选项解析：

　　　　　　一、in 'log_name'：指定要查询的binlog文件名(不指定就是第一个binlog文件)

　　　　　　二、from pos：指定从哪一个pos起始点开始查起(不指定就是从整个文件首个pos点开始算)

　　　　　　三、limit [offset,]：偏移量(不指定就是0)

　　　　　　四、row_count：查询总条数(不指定就是全部行)

mysql> show binlog events FROM 9451 limit 1\G; *************************** 1. row *************************** Log_name: mysql-bin.000001 Pos: 9451 Event_type: Query Server_id: 1 End_log_pos: 9561 Info: use `db1`; create index i_n_a on t1(name,address) 1 row in set (0.00 sec)

四、从binlog日志恢复语法

　　一、恢复语法格式：

　　　　# mysqlbinlog [选项] mysql-bin.0000xx | mysql -u用户名 -p密码 数据库名

　　二、经常使用选项：

　　　　--start-position=953 起始pos点

　　　　--stop-position=1437 结束pos点

　　　　--start-datetime="2017-6-8 13:18:54" 起始时间点

　　　　--stop-datetime="2017-6-8 13:21:53" 结束时间点

　　　　--database=TEST 指定只恢复TEST数据库(一台主机上每每有多个数据库，只限本地log日志)

　　三、不经常使用选项：

　　　　-u --user=name #Connect to the remote server as username.链接到远程主机的用户名

　　　　-p --password[=name] #Password to connect to remote server.链接到远程主机的密码

　　　　-h --host=name #Get the binlog from server.从远程主机上获取binlog日志

　　　　--read-from-remote-server #Read binary logs from a MySQL server.从某个MySQL服务器上读取binlog日志

使用小结：

　　实际是将读出的binlog日志内容，经过管道符传递给mysql命令。这些命令、文件尽可能写成绝对路径；所谓恢复，就是让MySQL将保存在binlog日志中指定段落区间的SQL语句逐个从新执行一次而已。

 

关于双一模式：

　　一、redolog、binlog：双1(绝对安全)

　　　　一、innodb_flush_log_at_trx_commit=1

　　　　二、sync_binlog=1

　　二、innodb_support_xa=1：分布式事务，默认开启ON

　　　　一、保证binlog里面存在的事务必定在redo log里面存在

　　　　二、保证binlog里面事务顺序与redo log事务顺序一致性

　　　　三、commit，要么成功要么失败，防止出现主从不一致

　　因此在双一的状况下，也要配合开启innodb_support_xa，更安全。