MariaDB10.3 系统版本表 有效防止数据丢失

系统版本表是SQL:2011标准中首次引入的功能。系统版本表存储全部更改的历史数据，而不只仅是当前时刻有效的数据。举个例子，同一行数据一秒内被更改了10次，那么就会保存10份不一样时间的版本数据。就像《源代码》电影里的平行世界理论同样，你能够退回任意时间里。从而有效保障你的数据是安全的，DBA手抖或程序BUG引发的数据丢失，在MariaDB10.3里已成为过去。

1、建立系统版本表

例子：

CREATE TABLE `t1` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(100) DEFAULT NULL,
  `ts` timestamp(6) GENERATED ALWAYS AS ROW START,
  `te` timestamp(6) GENERATED ALWAYS AS ROW END,
  PRIMARY KEY (`id`,`te`),
  PERIOD FOR SYSTEM_TIME (`ts`, `te`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 WITH SYSTEM VERSIONING;

注意看红色字体，这就是新增长的语法，字段ts和te是数据变化的起止时间和结束时间。

另外用ALTER TABLE更改表结构，语法以下：

ALTER TABLE t1 ADD COLUMN ts TIMESTAMP(6) GENERATED ALWAYS AS ROW START,
              ADD COLUMN te TIMESTAMP(6) GENERATED ALWAYS AS ROW END,
              ADD PERIOD FOR SYSTEM_TIME(ts, te),
              ADD SYSTEM VERSIONING;

2、查询历史数据

这里咱们作一个实验，首先要插入1条数据，以下图所示：

接着把姓名为“张三”，改为“李四”（误更改数据）

如今数据已经成功变动，那么我想查看历史数据怎么办呢？很是简单，一条命令搞定。

语法一：查询一小时内的历史数据。
SELECT * FROM t FOR SYSTEM_TIME BETWEEN (NOW() - INTERVAL 1 HOUR) AND NOW();
HOUR:小时
MINUTE:分钟
DAY:天
MONTH:月
YEAR:年

语法二：查询一段时间内的历史数据
SELECT * FROM t1 FOR SYSTEM_TIME FROM '2018-05-15 00:00:00' TO '2018-05-15 14:00:00';

语法三：查询全部历史数据
SELECT * FROM t1 FOR SYSTEM_TIME ALL;

3、恢复历史数据

如今咱们已经找到了历史数据“张三”，只需把它导出来作恢复便可。

SELECT id,name FROM t1 FOR SYSTEM_TIME ALL where id = 1 AND name = 
'张三' into outfile '/tmp/t1.sql' \
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"';

FIELDS TERMINATED BY ',' --- 字段的分隔符
OPTIONALLY ENCLOSED BY '"' --- 字符串带双引号

导入恢复

load data infile '/tmp/t1.sql' replace into table t1 \
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' \
(id,name);

很是简单的恢复完数据，此方法比以前用mysqlbinlog或自研脚本等工具作闪回效率高得多。

4、单独存储历史数据

当历史数据与当前数据一块儿存储时，势必会增长表的大小，且当前的数据查询：表扫描和索引搜索，将会花费更多的时间，由于须要跳过历史数据。那么咱们能够将经过表分区将其分开、单独存储，以减小版本控制的开销。
接上面的例子，执行下面的语句：

alter table t1 
  PARTITION BY SYSTEM_TIME INTERVAL 1 MONTH (
    PARTITION p0 HISTORY,
    PARTITION p1 HISTORY,
    PARTITION p2 HISTORY,
    PARTITION p3 HISTORY,
    PARTITION p4 HISTORY,
    PARTITION p5 HISTORY,
    PARTITION p6 HISTORY,
    PARTITION pcur CURRENT
  );

意思为：按照月份分割历史数据，今天至一个月后（2018年6月15日）的历史数据放入p0分区，次月的历史数据放入p1分区，依次类推至（2018年12月15日）存p6分区。当前数据存储在pcur分区里。

能够经过数据字典表，来查看每一个分区表的数据轮询时间状态信息。

SELECT PARTITION_DESCRIPTION,TABLE_ROWS FROM 
`information_schema`.`PARTITIONS` WHERE table_schema='hcy' AND 
table_name='t1';

5、删除旧的历史数据

系统版本表存储了全部的历史数据，随着时间的推移，历史版本数据会变得愈来愈大，那么咱们就能够将其最老的历史数据删除。
例：将p0分区删除
ALTER TABLE t1 DROP PARTITION p0;

6、正确使用姿式

经过上述介绍，咱们了解了系统版本表的原理。在高并发写入场景下，势必会带来性能上的损失，因此要用正确的姿式开启该功能。

例：主库是MySQL 5.6或者MariaDB 10.0/1/2版本，搭建一个新从库MariaDB 10.3，在该从库上转换为系统版本控制表。这样主库上误删或误篡改数据，能够在从库上经过版本控制找回。

注：主库是低版本，从库是高版本，是能够向前兼容binlog格式的。

7、注意事项

一、参数system_versioning_alter_history要设置为KEEP（在my.cnf配置文件里写死），不然默认不能执行DDL修改表结构操做。
set global system_versioning_alter_history = 'KEEP';

注：增长字段时，要加上after关键字，不然会在te字段后面，形成同步失败。例：
alter table t1 add column address varchar(500) after name;

二、mysqldump工具不会导出历史数据，因此在作备份时，能够经过Percona XtraBackup热备份工具来备份物理文件。

三、搭建从库时，若是你用mysqldump工具，要先导出表结构文件，再导出数据。
1）只导出表结构：
# mysqldump -S /tmp/mysql3306.sock -uroot -p123456 --single-transaction --compact -c -d -q -B test > ./test_schema.sql

导入完表结构后，批量执行DDL转换系统版本表，脚本以下（附件里点击下载）：

# cat convert.php 
<?php 

$conn=mysqli_connect("10.10.100.11","admin","123456","test","3306") or die("error connecting");
mysqli_query($conn,"SET NAMES utf8");

$table = "show tables";
$result1 = mysqli_query($conn,$table);
while($row = mysqli_fetch_array($result1)){
    $table_name=$row[0];
    echo "$table_name 表正在进行转换系统版本表。。。".PHP_EOL;
    $convert_table="
ALTER TABLE {$table_name} ADD COLUMN ts TIMESTAMP(6) GENERATED ALWAYS AS ROW START,
              ADD COLUMN te TIMESTAMP(6) GENERATED ALWAYS AS ROW END,
              ADD PERIOD FOR SYSTEM_TIME(ts, te),
              ADD SYSTEM VERSIONING";
    $result2=mysqli_query($conn,$convert_table);
    if($result2){
            echo '更改表结构成功.'.PHP_EOL;
           echo ''.PHP_EOL;
    }
    else{
            echo '更改表结构失败.'.PHP_EOL;
           echo ''.PHP_EOL;
    }
}

mysqli_close($conn);

?>

注：先安装php-mysql驱动
#yum install php php-mysql -y
#php convert.php

2)只导出数据：

# mysqldump -S /tmp/mysql3306.sock -uroot -p123456 --single-transaction 
--master-data=2 --compact -c -q -t -B test > test_data.sql

参考文档：
https://mariadb.com/kb/en/library/system-versioned-tables/