MySQL备份工具XtraBackup的使用

Posted 2020-10-15

mysql备份工具XtraBackup的使用

xtrabackup简介

Xtrabackup是由percona提供的mysql数据库备份工具，据官方介绍，这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具。特点：

(1)备份过程快速、可靠；

(2)备份过程不会打断正在执行的事务；

(3)能够基于压缩等功能节约磁盘空间和流量；

(4)自动实现备份检验；

(5)还原速度快；

官方下载地址：地址，你可以通过此链接下载最新版。

#wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.8/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.8-1.el7.x86_64.rpm # yum   install ./percona-xtrabackup-24-2.4.8-1.el7.x86_64.rpm 使用yum的本地安装方式解决其依赖关系

 

xtrabackup包含两个主要的工具，即xtrabackup和innobackupex，二者区别如下：

（1）xtrabackup只能备份innodb和xtradb两种引擎的表，而不能备份myisam引擎的表；

（2）innobackupex是一个封装了xtrabackup的Perl脚本，支持同时备份innodb和myisam，但在对myisam备份时需要加一个全局的读锁。还有就是myisam不支持增量备份。

权衡两者区别，建议使用innobackupex工具进行备份。

 

备份恢复过程

 

全量备份

其备份过程如下图所示（该图来源于网络）： 

备份开始时首先会开启一个后台检测进程，实时检测mysql redo的变化，一旦发现redo中有新的日志写入，立刻将日志记入后台日志文件xtrabackup_log中。之后复制innodb的数据文件和系统表空间文件ibdata1，待复制结束后，执行flush tables with read lock操作，复制.frm，MYI，MYD，等文件（执行flush tableswith read lock的目的是为了防止数据表发生DDL操作，并且在这一时刻获得binlog的位置）最后会发出unlock tables，把表设置为可读可写状态，最终停止xtrabackup_log。

全备恢复

这一阶段会启动xtrabackup内嵌的innodb实例，回放xtrabackup日志xtrabackup_log，将提交的事务信息变更应用到innodb数据/表空间，同时回滚未提交的事务(这一过程类似innodb的实例恢复）。恢复过程如下图：

 

增量备份

innobackupex增量备份过程中的"增量"处理，其实主要是相对innodb而言，对myisam和其他存储引擎而言，它仍然是全拷贝(全备份)。

"增量"备份的过程主要是通过拷贝innodb中有变更的"页"（这些变更的数据页指的是"页"的LSN大于xtrabackup_checkpoints中给定的LSN）。增量备份是基于全备的，第一次增备的数据必须要基于上一次的全备，之后的每次增备都是基于上一次的增备，最终达到一致性的增备。增量备份的过程如下，和全备的过程很类似，区别仅在第2步。

增备恢复

和全备恢复类似，也需要两步，一是数据文件的恢复，如下第一幅图，这里的数据来源由3部分组成：全备份，增量备份和xtrabackup log。二是对未提交事务的回滚，如下第二幅图所示：

XtraBackup使用示例

创建备份用户

如果要使用一个最小权限的用户进行备份，则可基于如下命令创建此类用户：

MariaDB   [(none)]> CREATE USER 'bkpuser'@'localhost' IDENTIFIED BY 'bkppass'; MariaDB   [(none)]> GRANT RELOAD,PROCESS,LOCK TABLES, REPLICATION CLIENT ON *.* TO   'bkpuser'@'localhost'; MariaDB   [(none)]> FLUSH PRIVILEGES;

 

#创建一个测试数据库并添加内容 [[email protected]   ~]# mysql -p <test.sql test.sql脚本如下： [[email protected]   ~]# cat test.sql create   database zachary; create   table zachary.test( id int   primary key, name   varchar(20)); insert   into zachary.test(id,name) values(1,'yangzhiheng'); 创建一个备份目录 [[email protected]   ~]# mkdir /backup

创建一个全量备份：

[[email protected]   ~]# innobackupex --user=bkpuser --password=bkppass /backup

出现上图字样表示备份完成。使用innobakupex备份时，其会调用xtrabackup备份所有的InnoDB表，复制所有关于表结构定义的相关文件(.frm)、以及MyISAM、MERGE、CSV和ARCHIVE表的相关文件，同时还会备份触发器和数据库配置信息相关的文件。这些文件会被保存至备份目录下一个以当前时间戳时间的目录中。

在备份的同时，innobackupex还会在备份目录中创建如下文件：

(1)xtrabackup_checkpoints   备份类型（如完全或增量）、备份状态（如是否已经为prepared状态）和LSN(日志序列号)范围信息；

每个InnoDB页(通常为16k大小)都会包含一个日志序列号，即LSN。LSN是整个数据库系统的系统版本号，每个页面相关的LSN能够表明此页面最近是如何发生改变的。

(2)xtrabackup_binlog_info  mysql服务器当前正在使用的二进制日志文件及至备份这一刻为止二进制日志事件的位置。

(3)xtrabackup_binlog_pos_innodb   二进制日志文件及用于InnoDB或XtraDB表的二进制日志文件的当前position。

(4)xtrabackup_binary   备份中用到的xtrabackup的可执行文件；

(5)backup-my.cnf   备份命令用到的配置选项信息；

在使用innobackupex进行备份时，还可以使用--no-timestamp选项来阻止命令自动创建一个以时间命名的目录；如此一来，innobackupex命令将会创建一个BACKUP-DIR目录来存储备份数据。

 

Prepare一个完全备份

一般情况下，在备份完成后，数据尚且不能用于恢复操作，因为备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务。因此，此时数据文件仍处理不一致状态。“准备”的主要作用正是通过回滚未提交的事务及同步已经提交的事务至数据文件也使得数据文件处于一致性状态。

使用—apply-log选项可以实现上述功能，如下所示：

[[email protected]   ~]# innobackupex --apply-log /backup/2017-11-27_04-40-55

当出现complete OK字样表示prepare完成。

从一个全量备份中恢复数据

注意：恢复时不用启动MySQL，其数据目录为空目录

innobackupex命令的--copy-back选项用于执行恢复操作，其通过复制所有数据相关的文件至mysql服务器DATADIR目录中来执行恢复过程。innobackupex通过backup-my.cnf来获取DATADIR目录的相关信息。

为了实验效果更加明显，我把该备份恢复至另一台服务器。

[[email protected]   ~]# scp -r /backup/2017-11-27_04-40-55 node3: [[email protected]   ~]# yum install mariadb-server [[email protected]   ~]# rm -rf /var/lib/mysql/* [[email protected]   ~]# innobackupex --copy-back 2017-11-27_04-40-55/

请确保如上信息的最行一行出现“innobackupex: completed OK!”。

当数据恢复至DATADIR目录以后，还需要确保所有数据文件的属主和属组均为正确的用户，如mysql，否则，在启动mysqld之前还需要事先修改数据文件的属主和属组。如：

[[email protected]   ~]# chown -R mysql.mysql /var/lib/mysql/*

启动服务，验证数据是否恢复：

[[email protected]   ~]# systemctl start mariadb [[email protected]   ~]# mysql –p MariaDB   [(none)]> show databases; +--------------------+ |   Database           | +--------------------+ |   information_schema | |   mysql              | |   performance_schema | |   zachary            | +--------------------+ 4 rows in   set (0.02 sec) MariaDB   [(none)]> select * from zachary.test; +----+-------------+ | id |   name        | +----+-------------+ |  1 | yangzhiheng | +----+-------------+ 1 row in   set (0.01 sec)

数据已恢复

使用XtraBackup进行增量备份

每个InnoDB的页面都会包含一个LSN信息，每当相关的数据发生改变，相关的页面的LSN就会自动增长。这正是InnoDB表可以进行增量备份的基础，即innobackupex通过备份上次完全备份之后发生改变的页面来实现。

准备一个数据变化

[[email protected]   ~]# mysql -p < test2.sql [[email protected]   ~]# cat test2.sql insert   into zachary.test(id,name) values(2,'zachary'); insert   into zachary.test(id,name) values(3,'tom'); insert   into zachary.test(id,name) values(4,'jarry');

备份：

[[email protected]   ~]# innobackupex --user=bkpuser --password=bkppass --incremental /backup   --incremental-basedir=/backup/2017-11-27_04-40-55/

其中，--incremental-basedir参数指的是完全备份所在的目录，此命令执行结束后，innobackupex命令会在/backup目录中创建一个新的以时间命名的目录以存放所有的增量备份数据。另外，在执行过增量备份之后再一次进行增量备份时，其--incremental-basedir应该指向上一次的增量备份所在的目录。

需要注意的是，前文已讲述过，增量备份仅能应用于InnoDB或XtraDB表，对于MyISAM表而言，执行增量备份时其实进行的是完全备份。

Prepare一个增量备份

“准备”(prepare)增量备份与整理完全备份有着一些不同，尤其要注意的是：

(1)需要在每个备份(包括完全和各个增量备份)上，将已经提交的事务进行“重放”。“重放”之后，所有的备份数据将合并到完全备份上。

(2)基于所有的备份将未提交的事务进行“回滚”。

于是，操作就变成了：

[[email protected]   ~]# innobackupex --apply-log --redo-only /backup/2017-11-27_04-40-55/

接着执行：

[[email protected]   ~]# innobackupex --apply-log --redo-only /backup/2017-11-27_04-40-55/    --incremental-dir=/backup/2017-11-27_05-23-52

如果后面有其他增量的话，可以按时间顺序执行其他增量操作

# innobackupex --apply-log --redo-only   BASE-DIR --incremental-dir=INCREMENTAL-DIR-2

其中BASE-DIR指的是完全备份所在的目录，而INCREMENTAL-DIR-1指的是第一次增量备份的目录，INCREMENTAL-DIR-2指的是第二次增量备份的目录，其它依次类推，即如果有多次增量备份，每一次都要执行如上操作

Prepare之后按照之前全量备份恢复所使用的操作来进行恢复，这里不再详述。

本篇文章还未写完，后期会补上。