MariaDB 10.2.26 xtrabackup 重要步骤记录

时间  2019-11-06
标签 mariadb 10.2.26 xtrabackup 重要 步骤 记录 繁體版
原文   原文链接

一、建立测试用例库表

Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MariaDB connection id is 11
Server version: 10.2.26-MariaDB-log MariaDB Serverhtml

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.mysql

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.算法

MariaDB [(none)]> create database full charset=utf8;
Query OK, 1 row affected (0.00 sec)sql

MariaDB [(none)]> create table full.incr(id int not null auto_increment primary key,tag varchar(256)) charset=utf8;
Query OK, 0 rows affected (0.02 sec)数据库

MariaDB [(none)]> show table from full;
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MariaDB server version for the right syntax to use near 'from full' at line 1
MariaDB [(none)]> show tables from full;
+----------------+
| Tables_in_full |
+----------------+
| incr |
+----------------+
1 row in set (0.00 sec)服务器

MariaDB [(none)]> select * from full.incr;
Empty set (0.00 sec)并发

MariaDB [(none)]> exit
Byeapp

二、执行一次全备

[root@rec tmp]# innobackupex --user=root --no-timestamp /tmp/fullbakide

三、添加一次增量数据

MariaDB [(none)]> insert into full.incr(tag) values("第1次增备后");
Query OK, 1 row affected (0.01 sec)测试

四、备份一次增量数据

[root@rec tmp]# innobackupex --user=root --no-timestamp --parallel=4 --incremental-basedir=/tmp/fullbak/ --incremental /tmp/incr/incr1

五、添加二次增量数据

MariaDB [(none)]> insert into full.incr(tag) values("第2次增备后");
Query OK, 1 row affected (0.01 sec)

六、备份二次增量数据

[root@rec tmp]# innobackupex --user=root --no-timestamp --parallel=4 --incremental-basedir=/tmp/incr/incr1/ --incremental /tmp/incr/incr2

七、添加三次增量数据

MariaDB [(none)]> insert into full.incr(tag) values("第3次增备后");
Query OK, 1 row affected (0.30 sec)

八、备份三次增量数据

[root@rec tmp]# innobackupex --user=root --no-timestamp --parallel=4 --incremental-basedir=/tmp/incr/incr2/ --incremental /tmp/incr/incr3

九、添加四次增量数据

MariaDB [(none)]> insert into full.incr(tag) values("第4次增备后");
Query OK, 1 row affected (0.30 sec)

十、备份四次增量数据

[root@rec tmp]# innobackupex --user=root --no-timestamp --parallel=4 --incremental-basedir=/tmp/incr/incr3/ --incremental /tmp/incr/incr4

十一、恢复准备全备

[root@rec tmp]# innobackupex --apply-log --redo-only /tmp/fullbak/

十二、恢复准备第一次增备

[root@rec tmp]# innobackupex --apply-log --redo-only /tmp/fullbak/ --incremental-dir=/tmp/incr/incr1

1三、恢复准备第二次增备

[root@rec tmp]# innobackupex --apply-log --redo-only /tmp/fullbak/ --incremental-dir=/tmp/incr/incr2

1四、恢复准备第三次增备，这里并无恢复所有增量备份数据

[root@rec tmp]# innobackupex --apply-log --redo-only /tmp/fullbak/ --incremental-dir=/tmp/incr/incr3

1五、关闭db，为恢复测试删除现有数据库，千万记住别再生产环境上直接删除数据库相关数据

[root@rec tmp]# /etc/init.d/mysql stop
Stopping mysql (via systemctl): [ 肯定 ]
[root@rec tmp]# cd /var/lib/
[root@rec lib]# rm -rf mysql
[root@rec lib]# mkdir -p mysql

1六、恢复--copy-back

[root@rec lib]# innobackupex --defaults-file=/etc/my.cnf --copy-back /tmp/fullbak/
190826 14:37:24 completed OK!

1七、启动观察

[root@rec lib]# chown mysql.mysql -R mysql
[root@rec lib]# /etc/init.d/mysql start
Starting mysql (via systemctl): [ 肯定 ]
[root@rec lib]# mysql
Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MariaDB connection id is 9
Server version: 10.2.26-MariaDB-log MariaDB Server

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> select * from full.incr;
+----+------------------+
| id | tag |
+----+------------------+
| 1 | 第1次增备后 |
| 2 | 第2次增备后 |
| 3 | 第3次增备后 |
+----+------------------+
3 rows in set (0.00 sec)

MariaDB [(none)]> exit
Bye

1八、备份脚本

#backup.sh
#!/bin/sh
#on xtrabackup 2.2.8
#第一次执行它的时候它会检查是否有彻底备份,不然先建立一个全库备份
#当你再次运行它的时候，它会根据脚本中的设定来基于以前的全备或增量备份进行增量备份

INNOBACKUPEX_PATH=/usr/bin/innobackupex  #INNOBACKUPEX的命令
INNOBACKUPEXFULL=/usr/bin/innobackupex  #INNOBACKUPEX的命令路径

#mysql目标服务器以及用户名和密码
MYSQL_CMD="--host=localhost --user=root --password=20190826 --port=3306"

MYSQL_UP=" --user=root --password='20190826' --port=3306 "  #mysqladmin的用户名和密码

TMPLOG="/tmp/innobackupex.$$.log"

MY_CNF=/etc/my.cnf.d/wsrep.cnf #mysql的配置文件

MYSQL=/usr/bin/mysql

MYSQL_ADMIN=/usr/bin/mysqladmin

BACKUP_DIR=/backup # 备份的主目录

FULLBACKUP_DIR=$BACKUP_DIR/full # 全库备份的目录

INCRBACKUP_DIR=$BACKUP_DIR/incre # 增量备份的目录

FULLBACKUP_INTERVAL=604800 # 全库备份的间隔周期，时间：秒

KEEP_FULLBACKUP=1 # 至少保留几个全库备份

logfiledate=/backup/backup.`date +%Y%m%d%H%M`.txt

#开始时间
STARTED_TIME=`date +%s`

#############################################################################

# 显示错误并退出

#############################################################################

error()
{
    echo "$1" 1>&2
    exit 1
}

# 检查执行环境

if [ ! -x $INNOBACKUPEXFULL ]; then
error "$INNOBACKUPEXFULL未安装或未连接到/usr/bin."
fi

if [ ! -d $BACKUP_DIR ]; then
error "备份目标文件夹:$BACKUP_DIR不存在."
fi

mysql_status=`netstat -nl | awk 'NR>2{if ($4 ~ /.*:3306/) {print "Yes";exit 0}}'`

if [ "$mysql_status" != "Yes" ];then
    error "MySQL 没有启动运行."
fi

if ! `echo 'exit' | $MYSQL -s $MYSQL_CMD` ; then
error "提供的数据库用户名或密码不正确!"
fi

# 备份的头部信息

echo "----------------------------"
echo
echo "$0: MySQL备份脚本"
echo "开始于: `date +%F' '%T' '%w`"
echo

#新建全备和差别备份的目录

mkdir -p $FULLBACKUP_DIR
mkdir -p $INCRBACKUP_DIR

#查找最新的彻底备份
LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`

# 查找最近修改的最新备份时间

LATEST_FULL_BACKUP_CREATED_TIME=`stat -c %Y $FULLBACKUP_DIR/$LATEST_FULL_BACKUP`

#若是全备有效进行增量备份不然执行彻底备份
if [ "$LATEST_FULL_BACKUP" -a `expr $LATEST_FULL_BACKUP_CREATED_TIME + $FULLBACKUP_INTERVAL + 5` -ge $STARTED_TIME ] ; then 
    # 若是最新的全备未过时则以最新的全备文件名命名在增量备份目录下新建目录
    echo -e "彻底备份$LATEST_FULL_BACKUP未过时,将根据$LATEST_FULL_BACKUP名字做为增量备份基础目录名"
    echo "                     "
    NEW_INCRDIR=$INCRBACKUP_DIR/$LATEST_FULL_BACKUP
    mkdir -p $NEW_INCRDIR

    # 查找最新的增量备份是否存在.指定一个备份的路径做为增量备份的基础
    LATEST_INCR_BACKUP=`find $NEW_INCRDIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n"  | sort -nr | head -1`
        if [ ! $LATEST_INCR_BACKUP ] ; then
            INCRBASEDIR=$FULLBACKUP_DIR/$LATEST_FULL_BACKUP
            echo -e "增量备份将以$INCRBASEDIR做为备份基础目录"
            echo "                     "
        else
            INCRBASEDIR=$INCRBACKUP_DIR/${LATEST_FULL_BACKUP}/${LATEST_INCR_BACKUP}
            echo -e "增量备份将以$INCRBASEDIR做为备份基础目录"
            echo "                     "
        fi

    echo "使用$INCRBASEDIR做为基础本次增量备份的基础目录."
    $INNOBACKUPEXFULL --defaults-file=$MY_CNF --galera-info --kill-long-query-type=select --use-memory=4G $MYSQL_CMD --incremental $NEW_INCRDIR --incremental-basedir $INCRBASEDIR > $TMPLOG 2>&1

    #保留一份备份的详细日志

    cat $TMPLOG>$logfiledate

    if [ -z "`tail -1 $TMPLOG | grep 'completed OK!'`" ] ; then
    echo "$INNOBACKUPEX命令执行失败:"; echo
    echo -e "---------- $INNOBACKUPEX_PATH错误 ----------"
    cat $TMPLOG
    /bin/rm -f $TMPLOG
    exit 1
    fi

    THISBACKUP=`awk -- "/Backup created in directory/ { split( \\\$0, p, \"'\" ) ; print p[2] }" $TMPLOG`
    /bin/rm -f $TMPLOG

    echo -n "数据库成功备份到:$THISBACKUP"
    echo

    # 提示应该保留的备份文件起点

    LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`

    NEW_INCRDIR=$INCRBACKUP_DIR/$LATEST_FULL_BACKUP

    LATEST_INCR_BACKUP=`find $NEW_INCRDIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n"  | sort -nr | head -1`

    RES_FULL_BACKUP=${FULLBACKUP_DIR}/${LATEST_FULL_BACKUP}

    RES_INCRE_BACKUP=`dirname ${INCRBACKUP_DIR}/${LATEST_FULL_BACKUP}/${LATEST_INCR_BACKUP}`

    echo
    echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #红色
    echo -e "必须保留$KEEP_FULLBACKUP份全备即全备${RES_FULL_BACKUP}和${RES_INCRE_BACKUP}目录中全部增量备份."
    echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #红色
    echo

else
    echo  "*********************************"
    echo -e "find expire backup file...........waiting........."
    echo -e "寻找过时的全备文件并删除">>$logfiledate
    for efile in $(/usr/bin/find $FULLBACKUP_DIR/ -mtime +4)
    do
        if [ -d ${efile} ]; then
        /bin/rm -rf "${efile}"
        echo -e "删除过时全备文件:${efile}" >>$logfiledate
        elif [ -f ${efile} ]; then
        /bin/rm -rf "${efile}"
        echo -e "删除过时全备文件:${efile}" >>$logfiledate
        fi;

    done

    if [ $? -eq "0" ];then
        echo
        echo -e "未找到能够删除的过时全备文件"
    fi
    echo -e "正在执行全新的彻底备份...请稍等..."
    echo  "*********************************"
    $INNOBACKUPEXFULL  --defaults-file=$MY_CNF --galera-info --kill-long-query-type=select --use-memory=4G  $MYSQL_CMD $FULLBACKUP_DIR > $TMPLOG 2>&1
    #保留一份备份的详细日志

    cat $TMPLOG>$logfiledate

    if [ -z "`tail -1 $TMPLOG | grep 'completed OK!'`" ] ; then
    echo "$INNOBACKUPEX命令执行失败:"; echo
    echo -e "---------- $INNOBACKUPEX_PATH错误 ----------"
    cat $TMPLOG
    /bin/rm -f $TMPLOG
    exit 1
    fi

    THISBACKUP=`awk -- "/Backup created in directory/ { split( \\\$0, p, \"'\" ) ; print p[2] }" $TMPLOG`
    /bin/rm -f $TMPLOG

    echo -n "数据库成功备份到:$THISBACKUP"
    echo

    # 提示应该保留的备份文件起点

    LATEST_FULL_BACKUP=`find $FULLBACKUP_DIR -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head -1`

    RES_FULL_BACKUP=${FULLBACKUP_DIR}/${LATEST_FULL_BACKUP}

    echo
    echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #红色
    echo -e "无增量备份,必须保留$KEEP_FULLBACKUP份全备即全备${RES_FULL_BACKUP}."
    echo -e '\e[31m NOTE:---------------------------------------------------------------------------------.\e[m' #红色
    echo

fi

#删除过时的全备

echo -e "find expire backup file...........waiting........."
echo -e "寻找过时的全备文件并删除">>$logfiledate
for efile in $(/usr/bin/find $FULLBACKUP_DIR/ -mtime +7)
do
    if [ -d ${efile} ]; then
    /bin/rm -rf "${efile}"
    echo -e "删除过时全备文件:${efile}" >>$logfiledate
    elif [ -f ${efile} ]; then
    /bin/rm -rf "${efile}"
    echo -e "删除过时全备文件:${efile}" >>$logfiledate
    fi;

done

if [ $? -eq "0" ];then
echo
echo -e "未找到能够删除的过时全备文件"
fi
#增备
echo -e "寻找过时的增备文件并删除" >>$logfiledate
for exfile in $(/usr/bin/find $INCRBACKUP_DIR/ -mtime +7)
do
    if [ -d ${exfile} ]; then
    /bin/rm -rf "${exfile}"
    echo -e "删除过时增备文件:${exfile}" >>$logfiledate
    elif [ -f ${exfile} ]; then
    /bin/rm -rf "${exfile}"
    echo -e "删除过时增备文件:${exfile}" >>$logfiledate
    fi;
done

if [ $? -eq 0 ]
then
    echo
    echo -e "未找到能够删除的过时增备文件"
fi

echo
echo "完成于: `date +%F' '%T' '%w`"

exit 0

遇到问题

一、Mariadb 开启innodb_safe_truncate报以下错
InnoDB: Unsupported redo log format. The redo log was created with MariaDB 10.2.26. Please follow the instructions at http://dev.mysql.com/doc/refman/5.7/en/upgrading-downgrading.html
关闭便可
[root@rec mnt]# cat /etc/my.cnf.d/server.cnf |grep safe
innodb_safe_truncate=0
[root@rec mnt]#

二、长查询形成阻塞，致使主从复制报延时
--kill-long-queries-timeout=120 、--kill-long-query-type=select

三、innobackupex经常使用参数：

--user=USER                     指定备份用户，不指定的话为当前系统用户
--password=PASSWD               指定备份用户密码
--port=PORT                     指定数据库端口
--defaults-group=GROUP-NAME     在多实例的时候使用
--host=HOST                     指定备份的主机，能够为远程数据库服务器
--apply-log                     回滚日志
--database                      指定须要备份的数据库，多个数据库之间以空格分开
--defaults-file                 指定mysql的配置文件
--copy-back                     将备份数据复制回原始位置
--incremental                   增量备份，后面跟要增量备份的路径
--incremental-basedir=DIRECTORY 增量备份时使用指向上一次的增量备份所在的目录
--incremental-dir=DIRECTORY     增量备份还原的时候用来合并增量备份到全量，用来指定全备路径
--redo-only                     对增量备份进行合并
--rsync                         加快本地文件传输，适用于non-InnoDB数据库引擎。不与--stream共用
--no-timestamp                  生成的备份文件不以时间戳为目录.
--kill-long-queries-timeout     参数的做用的就是在Xtrabackup执行FLUSH TABLES WITH READ LOCK之后，得到全局读锁时，若是有正在执行的事务会阻塞等待，kill-long-queries-timeout参数就是不为0时，xtrabackup内部建立一个线程，链接到数据库执行show full processlist,若是TIME超过kill-long-queries-timeout，会kill掉线程
--kill-long-query-type          设置能够kill掉的sql类型。官方文档介绍kill-long-query-type默认值时all，也就是全部语句都会kill掉。可是在使用中发现，只设置kill-long-queries-timeout，未设置kill-long-query-type时，参数没起做用！
--defaults-extra-file           该选项指定了在标准defaults-file以前从哪一个额外的文件读取MySQL配置，必须在命令行的第一个选项的位置。通常用于存备份用户的用户名和密码的配置文件。
--datadir                       backup的源目录，mysql实例的数据目录。从my.cnf中读取，或者命令行指定。
--slave-info                    该选项表示对slave进行备份的时候使用，打印出master的名字和binlog pos，一样将这些信息以change 。master的命令写入xtrabackup_slave_info文件。
--safe-slave-backup             该选项表示为保证一致性复制状态，这个选项中止SQL线程而且等到show status中的slave_open_temp_tables为0的时候开始备份，若是没有打开临时表，bakcup会马上开始，不然SQL线程将关闭直到没有打开的临时表。若是slave_open_temp_tables在--safe-slave-backup-timeount（默认300秒）秒以后不为0，从库sql线程会在备份完成的时候重启。
--ftwrl-wait-query-type         该选项表示得到全局锁以前容许那种查询完成，默认是ALL，可选update。
--history                       该选项表示percona server 的备份历史记录在percona_schema.xtrabackup_history表。
--backup                        建立备份而且放入--target-dir目录中。
--parallel                      指定备份时拷贝多个数据文件并发的进程数，默认值为1。
--compress                      该选项表示压缩innodb数据文件的备份。
--compress-threads              该选项表示并行压缩worker线程的数量。
--stream                        该选项表示流式备份的格式，backup完成以后以指定格式到STDOUT，目前只支持tar和xbstream。
--encrypt                       该选项表示经过ENCRYPTION_ALGORITHM的算法加密innodb数据文件的备份，目前支持的算法有ASE128,AES192,AES256。
--encrypt-threads               该选项表示并行加密的worker线程数量。
--encryption-key-file           该选项表示文件必须是一个简单二进制或者文本文件，加密key可经过如下命令行命令生成：openssl rand -base64 24。
--galera-info                   该选项表示生成了包含建立备份时候本地节点状态的文件xtrabackup_galera_info文件，该选项只适用于备份PXC。
相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程