MySQL 备份和恢复机制

时间 2019-11-06

标签 mysql 备份恢复机制栏目 MySQL 繁體版

原文原文链接

1、备份恢复策略

进行备份或恢复操做时须要考虑一些因素：mysql

肯定要备份的表的存储引擎是事务型仍是非事务型，两种不一样的存储引擎备份方式在处理数据一致性方面是不太同样的。linux
肯定使用全备份仍是增量备份。全备份的优势是备份保持最新备份，恢复的时候能够花费更少的时间；缺点是若是数据量大，将会花费不少的时间，并对系统形成较长时间的压力。增量备份相反，只须要备份天天的增量日志，备份时间少，对负载压力也小；缺点就是恢复的时候须要全备份加上次备份到故障前的全部日志，恢复时间长一些。sql
能够考虑采用复制的方法来作异地备份，但不能代替备份，它对数据库的误操做也无能为力。shell
要按期作备份，备份的周期要充分考虑系统能够承受的恢复时间。备份要在系统负载较小的时候进行数据库
确保 MySQL 打开 log-bin 选项，有了 binlog，MySQL 才能够在必要的时候作完整恢复，或基于时间点的恢复，或基于位置的恢复。windows
常常作备份恢复测试，确保备份时有效的，是能够恢复的。session

2、逻辑备份和恢复

在 MySQL 中，逻辑备份的最大优势是对于各类存储引擎均可以用一样的方法来备份；而物理备份则不一样，不一样的存储引擎有着不一样的备份方法，所以，对于不一样存储引擎混合的数据库，逻辑备份会简单一点。工具

1. 备份

MySQL 中的逻辑备份是将数据库中的数据备份为一个文本文件，备份的文件能够被查看和编辑。在 MySQL 中，可使用 mysqldump 工具来完成逻辑备份：测试

// 备份指定的数据库或者数据库中的某些表  
shell> mysqldump [options] db_name [tables]  

// 备份指定的一个或多个数据库  
shell> mysqldump [options] --database DB1 [DB2,DB3...]  

// 备份全部数据库  
shell> mysqldump [options] --all-database

若是没有指定数据库中的任何表，默认导出全部数据库中的全部表。命令行

示例：

1. 备份全部数据库：

shell>mysqldump -uroot -p --all-database > all.sql

2. 备份数据库 test

shell>mysqldump -uroot -p test > test.sql

3. 备份数据库 test 下的表 emp

shell> mysqldump -uroot -p test emp > emp.sql

4. 备份数据库 test 下的表 emp 和 dept

shell> mysqldump -uroot -p test emp dept > emp_dept.sql

5. 备份数据库test 下的全部表为逗号分割的文本，备份到 /tmp:

shell> mysqlddump -uroot -p -T /tmp test emp --fields-terminated-by ','
shell> more emp.txt  

1,z1
2,z2
3,z3
4,z4

注意： 为了保证数据备份的一致性，myisam 存储引擎在备份时须要加上 -l 参数,表示将全部表加上读锁，在备份期间，全部表将只能读而不能进行数据更新。可是对于事务存储引擎来讲，能够采用更好的选项 --single-transaction，此选项使得 innodb 存储引擎获得一个快照(snapshot)，使得备份的数据可以保证一致性。

2. 彻底恢复

mysqldump 的恢复也很简单，将备份做为输入执行便可：

mysql -uroot -p db_name < backfile

注意，将备份恢复后数据并不完整，还须要将备份后执行的日志进行重作：

mysqlbinlog binlog-file | mysql -uroot -p

完整的 mysqldump 备份与恢复示例：

1. 凌晨 2:00，备份数据库：

root@bogon:/usr/local/mysql/bin$ ./mysqldump -uroot -p -l -F t2 > t2.dmp
Enter password:

其中 -l 参数表示给全部表加读锁，-F 表示生成一个新的日志文件，此时，t2 中 emp 表的数据以下：

# 为了便于测试，执行 reset master 删除全部 binlog。
MySQL [(none)]> reset master;
Query OK, 0 rows affected (0.00 sec)

# 此时只有一个 binlog 日志文件   mysql-bin.000001
MySQL [t2]> select * from test;
+------+------+
| id   | name |
+------+------+
|    1 | a    |
|    2 | b    |
+------+------+
2 rows in set (0.00 sec)

2. 备份完毕后，插入新的数据：

# 由于上一步执行是加入了 -F 选项, 因此接下来的操做会被记录到新的二进制文件，即名为 mysql-bin.000002 的文件
MySQL [t2]> insert into test values (3,'c');
Query OK, 1 row affected (0.00 sec)

MySQL [t2]> insert into test values (4,'d');
Query OK, 1 row affected (0.00 sec)

3. 数据库忽然故障(实际上是小伙伴没事儿删库练手玩儿)，数据没法访问。须要恢复备份：

删库跑路：

# 这里为了便于测试，不把删库操做记入日志，当前 session 设置 sql_log_bin 为 off。
# 删库后，执行 flush logs，让后续的 binlog 到新的文件中，即名为 mysql-bin.000003中
MySQL [t2]> set sql_log_bin = 0;
Query OK, 0 rows affected (0.00 sec)

MySQL [t2]> show variables like "%sql_log_bin%";
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| sql_log_bin   | OFF   |
+---------------+-------+
1 row in set (0.00 sec)

MySQL [t2]> drop database t2;
Query OK, 1 row affected (0.01 sec)

MySQL [(none)]> flush logs;
Query OK, 0 rows affected (0.22 sec)


MySQL [t2]> drop database t2;
Query OK, 3 rows affected (0.23 sec)

MySQL [(none)]> exit;
Bye

数据恢复：

root@bogon:/usr/local/mysql/bin# ./mysql -e "create database t2"   
root@bogon:/usr/local/mysql/bin# ./mysql t2 < t2.dmp 

*******************************************************************
MySQL [t2]> select * from test;
+------+------+
| id   | name |
+------+------+
|    1 | a    |
|    2 | b    |
+------+------+
2 rows in set (0.00 sec)

4. 使用 mysqlbinlog 恢复自 mysqldump 备份以来的 binglog

根据前面操做的内容，可知从备份的时间点到删库的时间点之间的操做被记录到了 mysql-bin.000002 文件中

root@bogon:/usr/local/mysql/bin# ./mysqlbinlog --no-defaults /data/mysql/mysql-bin.000002 | ./mysql t2

*******************************************************
MySQL [t2]> select * from test;
+------+------+
| id   | name |
+------+------+
|    1 | a    |
|    2 | b    |
|    3 | c    |
|    4 | d    |
+------+------+
4 rows in set (0.00 sec)

至此，数据恢复成功。

3. 基于时间点恢复

因为误操做，好比误删除了一张表，这时使用彻底恢复时没有用的，由于日志里面还存在误操做的语句，咱们须要的是恢复到误操做以前的状态，而后跳过误操做语句，再恢复后面执行的语句，完成恢复。这种恢复叫不彻底恢复，在 MySQL 中，不彻底恢复分为基于时间点的恢复和基于位置的恢复。
基于时间点恢复的操做步骤：

(1) 若是是上午 10 点发生了误操做，能够用如下语句用备份和 binlog 将数据恢复到故障前：

shell>mysqlbinlog --stop-date="2017-09-30 9:59:59" /data/mysql/mysql-bin.123456 | mysql -uroot -ppassword

(2) 跳过故障时的时间点，继续执行后面的 binlog，完成恢复。

shell>mysqlbinlog --start-date="2017-09-30 10:01:00" /data/mysql/mysql-bin.123456 | mysql -uroot -ppassword

4. 基于位置恢复

和基于时间点的恢复相似，可是更精确，由于同一个时间点可能有不少条 sql 语句同时执行。恢复的操做步骤以下：

(1) 在 shell 下执行命令：

shell>mysqlbinlog --start-date="2017-09-30 9:59:59" --stop-date="2017-09-30 10:01:00" /data/mysql/mysql-bin.123456 > /tmp/mysql_restore.sql

该命令将在 /tmp 目录建立小的文本文件，编辑此文件，知道出错语句先后的位置号，例如先后位置号分别为 368312 和 368315。

(2) 恢复了之前的备份文件后，应从命令行输入下面的内容：

shell>mysqlbinlog --stop-position="368312" /data/mysql/mysql-bin.123456 | mysql -uroot -ppassword  
shell>mysqlbinlog --start-position="368315" /data/mysql/mysql-bin.123456 | mysql -uroot -ppassword

上面的第一行将恢复到中止位置为止的全部事务。下一行将恢复从给定的起始位置直到二进制日志结束的全部事务。由于 mysqlbinlog 的输出包括每一个 sql 语句记录以前的 set timestamp 语句，所以恢复的数据和相关的 mysql 日志将反应事务执行的原时间。

3、物理备份和恢复

物理备份又分为冷备份和热备份两种，和逻辑备份相比，它的最大优势是备份和恢复的速度更快，由于物理备份的原理都是基于文件的 cp。

1. 冷备份

冷备份其实就是停掉数据库服务，cp 数据文件的方法。(基本不考虑这种方法)

2. 热备份

在 MySQL 中，对于不一样的存储引擎热备份的方法也有所不一样。

(1) myisam 存储引擎

myisam 存储引擎的热备份有不少方法，本质其实就是将要备份的表加读锁，而后再 cp 数据文件到备份目录。经常使用的有如下两种方法：

使用 mysqlhotcopy 工具

// mysqlhotcopy 是 MySQL 的一个自带的热备份工具  
shell> mysqlhotcopy db_name [/path/to/new_directory]

手工锁表 copy

// 在 mysqlhotcopy 使用不正常的状况下，能够用手工来作热备份

mysql>flush tables for read;

cp 数据文件到备份目录便可，

(2) innodb 存储引擎(另写)

使用第三方工具 ibbackup、xtrabackup、innobacupex

4、表的导入导出

在数据库的平常维护中，表的导入导出时很频繁的一类操做。

1. 导出

在某些状况下，为了一些特定的目的，常常须要将表里的数据导出为某些符号分割的纯数据文本，而不是 sql 语句：

用来做为 Excel 显示；
单纯为了节省备份空间；
为了快速的加载数据，load data 的加载速度比普通 sql 加载要快 20 倍以上。

使用 select ...into outfile ... 命令来导出数据，具体语法以下：

mysql> select * from tablename into outfile 'target_file' [option];

其中 option 参数能够是如下选项：

fields terminated by 'string'                   // 字段分隔符，默认为制表符'\t'
fields [optionally] enclosed by 'char'          // 字段引用符，若是加 optionally 选项则只用在 char、varchar 和 text 等字符型字段上，默认不使用引用符  
fields escaped by ‘char’                        // 转移字符、默认为 '\'  
lines starting by 'string'                      // 每行前都加此字符串，默认''  
lines terminated by 'string'                    // 行结束符，默认为'\n'  

# char 表示此符号只能是单个字符，string表示能够是字符串。

例如，将 test 表中数据导出为数据文本，其中，字段分隔符为“,”,字段引用符为“"”,记录结束符为回车符：

MySQL [t2]> select * from test into outfile '/data/mysql/outfile.txt' fields terminated by "," enclosed by '"';
Query OK, 4 rows affected (0.02 sec)

zj@bogon:/data/mysql$ more outfile.txt 
"1","a","helloworld"
"2","b","helloworld"
"3","c","helloworld"
"4","d","helloworld"

发现第一列是数值型，若是不但愿字段两边用引号引发，则语句改成：

MySQL [t2]> select * from test into outfile '/data/mysql/outfile2.txt' fields terminated by "," optionally  enclosed by '"';
Query OK, 4 rows affected (0.03 sec)

zj@bogon:/data/mysql$ more outfile2.txt 
1,"a","helloworld"
2,"b","helloworld"
3,"c","helloworld"
4,"d","helloworld"

测试转义字符，MySQL 导出数据中须要转义的字符主要包括如下 3 类：

转义字符自己
字段分隔符
记录分隔符

MySQL [t2]> update test set content = '\\"##!aa' where  id=1;
Query OK, 1 row affected (0.05 sec)
Rows matched: 1  Changed: 1  Warnings: 0

MySQL [t2]> select * from test into outfile '/data/mysql/outfile3.txt' fields terminated by "," optionally enclosed by '"';
Query OK, 4 rows affected (0.03 sec)

*******************************************
zj@bogon:/data/mysql$ more outfile3.txt 
1,"a","\\\"##!aa"
2,"b","helloworld"
3,"c","helloworld"
4,"d","helloworld"

当导出命令中包含字段引用符时，数据中含有转义字符自己和字段引用符的字符须要被转义；
当导出命令中不包含字段引用符时，数据中含有转义字符自己和字段分割符的字符须要被转义。

注意： select ... into outfile ... 产生的输出文件若是在目标目录下有重名文件，将不会被建立成功，源文件不会被自动覆盖。

使用 mysqldump 导出数据为文本的具体语法以下：

mysqldump -u username -T target_dir dbname tablename [option]

其中，option 参数能够是如下选项：

--fields-terminated-by=name (字段分隔符)；
--fields-enclosed-by=name (字段引用符)；
--fields-optionally-enclosed-by=name (字段引用符，只用在 char、varchar 和 test 等字符型字段上)；
--fields-escaped-by=name (转义字符);
--lines-terminated-by=name (记录结束符);

例子：

root@bogon:/usr/local/mysql/bin# ./mysqldump -uroot -p -T /data/mysql/dump t2 test --fields-terminated-by ',' --fields-optionally-enclosed-by '"'

**************** test.txt **********************
zj@bogon:/data/mysql/dump$ more test.txt 
1,"a","\\\"##!aa"
2,"b","helloworld"
3,"c","helloworld"
4,"d","helloworld"

***************** test.sql *********************
zj@bogon:/data/mysql/dump$ more test.sql 
-- MySQL dump 10.13  Distrib 5.7.18, for Linux (x86_64)
--
-- Host: localhost    Database: t2
-- ------------------------------------------------------
-- Server version    5.7.18-log

/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
/*!40101 SET NAMES utf8mb4 */;
/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
/*!40103 SET TIME_ZONE='+00:00' */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;

--
-- Table structure for table `test`
--

DROP TABLE IF EXISTS `test`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `test` (
  `id` int(11) DEFAULT NULL,
  `name` varchar(10) DEFAULT NULL,
  `content` varchar(100) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
/*!40101 SET character_set_client = @saved_cs_client */;

/*!40103 SET TIME_ZONE=@OLD_TIME_ZONE */;

/*!40101 SET SQL_MODE=@OLD_SQL_MODE */;
/*!40101 SET CHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT */;
/*!40101 SET CHARACTER_SET_RESULTS=@OLD_CHARACTER_SET_RESULTS */;
/*!40101 SET COLLATION_CONNECTION=@OLD_COLLATION_CONNECTION */;
/*!40111 SET SQL_NOTES=@OLD_SQL_NOTES */;

-- Dump completed on 2017-09-25 11:14:06

能够发现，除多了一个表的建立脚本文件，mysqldump 和 select ... into outfile ... 的选项和语法很是类似。其实 mysqldump 实际调用的就是后者提供的接口，并在其上面添加了一些新的功能而已。

2. 导入 (导入用 select ... into outfile 或者 mysqldump 导出的纯数据文本)

和导出相似，导入也有两种不一样的方法，分别是 load data infile... 和 mysqlimport，它们的本质是同样的，区别只是在于一个在 MySQL 内部执行，另外一个在 MySQL 外部执行。

使用 “load data infile...” 命令，具体语法以下

mysql> load data [local]infile 'filename' into table tablename [option]

option 能够是如下选项：

fields terminated by 'string' (字段分割符，默认为制表符't');
fields [optionally] enclosed by 'char' (字段引用符，若是加 optionally 选项则只用在 char varchar text 等字符型字段上。默认不使用引用符)；
fields escaped by 'char' (转义字符，默认为'')
lines starting by 'string' (每行前都加此字符串，默认为'')
lines terminated by 'string' (行结束符，默认为'n')
ignore number lines (忽略输入文件中的前几行数据)
(col_name_or_user_var,...) (按照列出的字段顺序和字段数量加载数据)；
set col_name = expr,...将列作必定的数值转换后再加载。

fields 、lines 和前面 select...into outfile...的含义彻底相同，不一样的是多了几个不一样的选项，下面的例子将文件'test.txt'中的数据加载到表 test 中:

// 清空表 test  
MySQL [t2]> truncate table test;
Query OK, 0 rows affected (0.07 sec)

MySQL [t2]> load data infile '/data/mysql/outfile.txt' into table test fields terminated by ',' enclosed by '"';
Query OK, 4 rows affected (0.10 sec)
Records: 4  Deleted: 0  Skipped: 0  Warnings: 0


MySQL [t2]> select * from test;
+------+------+------------+
| id   | name | content    |
+------+------+------------+
|    1 | a    | helloworld |
|    2 | b    | helloworld |
|    3 | c    | helloworld |
|    4 | d    | helloworld |
+------+------+------------+
4 rows in set (0.00 sec)

若是不但愿加载文件中的前两行，能够进行以下操做：

MySQL [t2]> truncate table test;
Query OK, 0 rows affected (0.02 sec)

MySQL [t2]> load data infile '/data/mysql/outfile.txt' into table test fields terminated by ',' enclosed by '"' ignore 2 lines;
Query OK, 2 rows affected (0.00 sec)
Records: 2  Deleted: 0  Skipped: 0  Warnings: 0

MySQL [t2]> select * from test;
+------+------+------------+
| id   | name | content    |
+------+------+------------+
|    3 | c    | helloworld |
|    4 | d    | helloworld |
+------+------+------------+
2 rows in set (0.02 sec)

使用 mysqldump 实现

语法：

shell> mysqlimport -uroot -p [--local] dbname order_tab.txt [option]