binlog之四：mysql中binlog_format模式与配置详解，binlog的日志格式详解

mysql复制主要有三种方式：基于SQL语句的复制(statement-based replication, SBR)，基于行的复制(row-based replication, RBR)，混合模式复制(mixed-based replication, MBR)。对应的，binlog的格式也有三种：STATEMENT，ROW，MIXED。

 

① STATEMENT模式（SBR）

每一条会修改数据的sql语句会记录到binlog中。优势是并不须要记录每一条sql语句和每一行的数据变化，减小了binlog日志量，节约IO，提升性能。缺点是在某些状况下会致使master-slave中的数据不一致(如sleep()函数， last_insert_id()，以及user-defined functions(udf)等会出现问题)

② ROW模式（RBR）

不记录每条sql语句的上下文信息，仅需记录哪条数据被修改了，修改为什么样了。并且不会出现某些特定状况下的存储过程、或function、或trigger的调用和触发没法被正确复制的问题。缺点是会产生大量的日志，尤为是alter table的时候会让日志暴涨。

③ MIXED模式（MBR）

以上两种模式的混合使用，通常的复制使用STATEMENT模式保存binlog，对于STATEMENT模式没法复制的操做使用ROW模式保存binlog，MySQL会根据执行的SQL语句选择日志保存方式。
 
binlog复制配置

在mysql的配置文件my.cnf中，能够经过一下选项配置binglog相关

binlog_format           = MIXED                         //binlog日志格式，mysql默认采用statement，建议使用mixed
log-bin                 = /data/mysql/mysql-bin.log    //binlog日志文件
expire_logs_days        = 7                           //binlog过时清理时间
max_binlog_size         = 100m                       //binlog每一个日志文件大小
binlog_cache_size       = 4m                        //binlog缓存大小
max_binlog_cache_size   = 512m                     //最大binlog缓存大小

对于执行的SQL语句中包含now()这样的时间函数，会在日志中产生对应的unix_timestamp()*1000的时间字符串，slave在完成同步时，取用的是sqlEvent发生的时间来保证数据的准确性。另外对于一些功能性函数slave能完成相应的数据同步，而对于上面指定的一些相似于UDF函数，致使Slave没法知晓的状况，则会采用ROW格式存储这些Binlog，以保证产生的Binlog能够供Slave完成数据同步。三 MIXED说明

如今来比较如下 SBR 和 RBR 2中模式各自的优缺点：

SBR 的优势：

历史悠久，技术成熟
binlog文件较小
binlog中包含了全部数据库更改信息，能够据此来审核数据库的安全等状况
binlog能够用于实时的还原，而不只仅用于复制
主从版本能够不同，从服务器版本能够比主服务器版本高

SBR 的缺点：

不是全部的UPDATE语句都能被复制，尤为是包含不肯定操做的时候。
调用具备不肯定因素的 UDF 时复制也可能出问题
使用如下函数的语句也没法被复制：
* LOAD_FILE()
* UUID()
* USER()
* FOUND_ROWS()
* SYSDATE() (除非启动时启用了 --sysdate-is-now 选项)
INSERT ... SELECT 会产生比 RBR 更多的行级锁
复制须要进行全表扫描(WHERE 语句中没有使用到索引)的 UPDATE 时，须要比 RBR 请求更多的行级锁
对于有 AUTO_INCREMENT 字段的 InnoDB表而言，INSERT 语句会阻塞其余 INSERT 语句
对于一些复杂的语句，在从服务器上的耗资源状况会更严重，而 RBR 模式下，只会对那个发生变化的记录产生影响
存储函数(不是存储过程)在被调用的同时也会执行一次 NOW() 函数，这个能够说是坏事也多是好事
肯定了的 UDF 也须要在从服务器上执行
数据表必须几乎和主服务器保持一致才行，不然可能会致使复制出错
执行复杂语句若是出错的话，会消耗更多资源

RBR 的优势：

任何状况均可以被复制，这对复制来讲是最安全可靠的
和其余大多数数据库系统的复制技术同样
多数状况下，从服务器上的表若是有主键的话，复制就会快了不少
复制如下几种语句时的行锁更少：
* INSERT ... SELECT
* 包含 AUTO_INCREMENT 字段的 INSERT
* 没有附带条件或者并无修改不少记录的 UPDATE 或 DELETE 语句
执行 INSERT，UPDATE，DELETE 语句时锁更少
从服务器上采用多线程来执行复制成为可能

RBR 的缺点：

binlog 大了不少
复杂的回滚时 binlog 中会包含大量的数据
主服务器上执行 UPDATE 语句时，全部发生变化的记录都会写到 binlog 中，而 SBR 只会写一次，这会致使频繁发生 binlog 的并发写问题
UDF 产生的大 BLOB 值会致使复制变慢
没法从 binlog 中看到都复制了写什么语句
当在非事务表上执行一段堆积的SQL语句时，最好采用 SBR 模式，不然很容易致使主从服务器的数据不一致状况发生

另外，针对系统库 mysql 里面的表发生变化时的处理规则以下：
若是是采用 INSERT，UPDATE，DELETE 直接操做表的状况，则日志格式根据 binlog_format 的设定而记录
若是是采用 GRANT，REVOKE，SET PASSWORD 等管理语句来作的话，那么不管如何都采用 SBR 模式记录
注：采用 RBR 模式后，能解决不少原先出现的主键重复问题。

 

2、使用mysqlbinlog解析binlog后的日志格式

MIXED（STATEMENT）：

# at 193（开始位置）

#110708 10:03:06（时间截） server id（产生该事件的服务id） 1  end_log_pos（日志的结束位置） 280  Query（事件类型）  thread_id=10    exec_time=0     error_code=0

SETTIMESTAMP=1310090586/*!*/;

insert into tvalues(17)

/*!*/;

 

ROW模式：

BEGIN

/*!*/;

# at 174

# at 214

#110708 10:49:22server id 1  end_log_pos 214   Table_map: `test`.`t` mapped to number 14

#110708 10:49:22server id 1  end_log_pos 248   Write_rows: table id 14 flags: STMT_END_F

 

BINLOG '

MnAWThMBAAAAKAAAANYAAAAAAA4AAAAAAAEABHRlc3QAAXQAAQMAAQ==

MnAWThcBAAAAIgAAAPgAAAAAAA4AAAAAAAEAAf/+MgAAAA==

'/*!*/;

# at 248

#110708 10:49:22server id 1  end_log_pos 317   Query  thread_id=1     exec_time=0     error_code=0

SETTIMESTAMP=1310093362/*!*/;

COMMIT

 

3、binlog导出的日志文件内容格式详解

每一个binlog的开始都是由4个字节：fe 62 69 6e，组成的魔数（后面三个字节就是bin）。

而后接下来的就是一条记录的内容它包括：Common-Header，这部分不一样版本的大小不同，4.0以上的都是19个字节。在这个以后就是BODY。

Common-Header格式：（单位：字节）

Timestamp(4)

Type(1)

Server_id(4)

Total_size(4)

End_log_pos(4)

Flag(2)

Timestamp:从1970开始

Type:此log event type如FORMAT_DESCRIPTION_EVENT、QUERY、LOAD_EVENT等，其中每一个binlog的第一条记录的类型都是FORMAT_DESCRIPTION_EVENT，它记录了该binlog的相关信息，如版本，这些信息对于后序分析binlog记录是有用的，因此对于任务要读取binlog的内容的工具都必须先读取第一条记录。QUERY包括咱们常常操做的如：create,drop,update,insert等。

Server_id：建立这个事件的server id。防止循环主从致使的主机被从写。The master's server id (is preserved in therelay log; used to prevent from infinite loops in circular replication).

Total_size：该记录的大小，包括common_header及body。

End_log_pos：此下一条记录的开始位置。也是此条记录结束位置的上一个字节。

Flag：标志位。

 

QUERY类型的记录：

QUERY类型的记录除了开始的common-header以外，在body的开头是一个Post-header，而后以后才是真正的body内容。

Query Post-Header：（单位字节）

Thread_id(4)

Exec_time(4)

Db_len(1)

Error_code(2)

Status_var_len(2)

Thread_id：is used to distinguish temporary tables that belong to differentclients.

Exec_time：The time from whenthe query started to when it was logged in the binlog, in seconds.QUERY到达到这个binlog事件生成的时间间隔。

Db_len：当前数据库的名称长度。

Error_code：执行出错的错误号。