Xtrabackup数据库备份工具

Posted 2020-08-24

Xtrabackup

 

官方原理

在InnoDB内部会维护一个redo日志文件，我们也可以叫做事务日志文件。事务日志会存储每一个InnoDB表数据的记录修改。当InnoDB启动时，InnoDB会检查数据文件和事务日志，并执行两个步骤：它应用（前滚）已经提交的事务日志到数据文件，并将修改过但没有提交的数据进行回滚操作。

Xtrabackup在启动时会记住log sequencenumber（LSN），并且复制所有的数据文件。复制过程需要一些时间，所以这期间如果数据文件有改动，那么将会使数据库处于一个不同的时间点。这时，xtrabackup会运行一个后台进程，用于监视事务日志，并从事务日志复制最新的修改。Xtrabackup必须持续的做这个操作，是因为事务日志是会轮转重复的写入，并且事务日志可以被重用。所以xtrabackup自启动开始，就不停的将事务日志中每个数据文件的修改都记录下来。

上面就是xtrabackup的备份过程。接下来是准备（prepare）过程。在这个过程中，xtrabackup使用之前复制的事务日志，对各个数据文件执行灾难恢复（就像mysql刚启动时要做的一样）。当这个过程结束后，数据库就可以做恢复还原了。

以上的过程在xtrabackup的编译二进制程序中实现。程序innobackupex可以允许我们备份MyISAM表和frm文件从而增加了便捷和功能。Innobackupex会启动xtrabackup，直到xtrabackup复制数据文件后，然后执行FLUSH TABLES WITH READ LOCK来阻止新的写入进来并把MyISAM表数据刷到硬盘上，之后复制MyISAM数据文件，最后释放锁。

备份MyISAM和InnoDB表最终会处于一致，在准备（prepare）过程结束后，InnoDB表数据已经前滚到整个备份结束的点，而不是回滚到xtrabackup刚开始时的点。这个时间点与执行FLUSH TABLES WITH READ LOCK的时间点相同，所以myisam表数据与InnoDB表数据是同步的。类似oracle的，InnoDB的prepare过程可以称为recover（恢复），myisam的数据复制过程可以称为restore（还原）。

Xtrabackup和innobackupex这两个工具都提供了许多前文没有提到的功能特点。手册上有对各个功能都有详细的介绍。简单介绍下，这些工具提供了如流（streaming）备份，增量（incremental）备份等，通过复制数据文件，复制日志文件和提交日志到数据文件（前滚）实现了各种复合备份方式。

 

Xtrabackup有两个主要的工具：xtrabackup、innobackupex

1、xtrabackup只能备份InnoDB和XtraDB两种数据表，而不能备份MyISAM数据表 
2、 innobackupex-1.5.1则封装了xtrabackup，是一个脚本封装，所以能同时备份处理innodb和myisam，但在处理myisam时需要加一个读锁 

 

安装

官网下载

#wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/source/tarball/percona-xtrabackup-2.4.4.tar.gz

下载安装所需依赖包,从MySQL 5.7.5开始Boost库是必需的

#wget http://downloads.sourceforge.net/project/boost/boost/1.59.0/boost_1_59_0.tar.gz

#yum install cmake gcc gcc-c++ libaiolibaio-devel automake autoconf bzr bison libtool ncurses-devel libgcrypt-devellibcurl-devel libev-devel python-sphinx perl-Digest-MD5 perl-DBD-MySQL -y

#cp percona-xtrabackup-2.4.4.tar.gz/usr/local/src/

#cp boost_1_59_0.tar.gz /usr/local/src/

#cd /usr/local/src/

#tar zxf boost_1_59_0.tar.gz

 

安装xtrabackup

#tar zxf percona-xtrabackup-2.4.4.tar.gz

#cd percona-xtrabackup-2.4.4

#cmake -DBUILD_CONFIG=xtrabackup_release-DDOWNLOAD_BOOST=1 -DWITH_BOOST=../boost_1_59_0

#make -j4

#make install

#ln -s/usr/local/xtrabackup/bin/innobackupex /usr/bin/

#ln -s /usr/local/xtrabackup/bin/xtrabackup/usr/bin/

 

常用选项：

--defaults-file        #数据库的配置文件路径

--apply-log           #准备在一个备份上启动mysql服务。

--copy-back           #从备份目录拷贝数据，索引，日志到my.cnf文件里规定的初始位置。

--no-timestamp         #创建备份时不自动生成时间目录，可以自定义备份目录名例如： /backups/mysql/base

--databases          #用于指定要备份的数据库, 多个库文件使用方法: “database1 database2″

--incremental         #在全备份的基础上进行增量备份，后跟增量备份存贮目录路径

--incremental-basedir=DIRECTORY    #增量备份所需要的全备份路径目录或上次做增量备份的目录路径

--incremental-dir=DIRECTORY       #增量备份存贮的目录路径

--redo-only                 #用于准备增量备份内容把数据合并到全备份目录，配合incremental-dir 增量备份目录使用。

--force-non-empty-directories     #如果是特定库备份还原，不需要删掉整个mysql目录，只是特定库的及相关文件就可以，还原时加上此参数就不会报错。

 

备份

完全备份

#innobackupex--defaults-file=/data/mysql/data3307/my.cnf --user=root --password=123456--socket=/data/mysql/data3307/mysql.sock /back/full/

--host：指定备份服务器IP

--defaults-file：指定数据库配置文件

--user=root：备份用户

--password=123456：备份用户密码

--socket=/data/mysql/data3307/mysql.sock：指定sock文件

/back/full：数据库完全备份目录

 

增量备份

进行第一次增量备份，需要在有一次完整备份的基础上进行

#innobackupex--defaults-file=/data/mysql/data3307/my.cnf --user=root --password=123456--socket=/data/mysql/data3307/mysql.sock --incremental /back/incre/ --incremental-basedir=/back/full/2016-07-28_01-46-28/

--incremental /back/incre：指定这次增量备份存放目录

--incremental-basedir=/back/full/2016-07-28_01-46-28：指定完整备份存放目录

进行第二次增量备份

#innobackupex --defaults-file=/data/mysql/data3307/my.cnf--user=root --password=123456 --socket=/data/mysql/data3307/mysql.sock--incremental /back/incre/  --incremental-basedir=/back/incre/2016-07-28_01-50-41/

--incremental /back/incre：指定这次增量备份存放目录

--incremental-basedir=/back/incre/2016-07-28_01-50-41：指定是第一个增量备份目录为参考点进行增量备份

以此类推。。。

 

数据恢复

完全备份恢复

#/etc/init.d/mysql3307 stop

#innobackupex --user=root --password=123456--socket=/data/mysql/data3307/mysql.sock --apply-log --use-memory=100M /back/full/2016-08-08_00-46-06/

#mv /data/mysql/data3307  /data/mysql/data3307.bak

#mkdir –p /data/mysql/data3307

#innobackupex --user=root --password=123456--socket=/data/mysql/data3307/mysql.sock --copy-back--datadir=/data/mysql/data3307 /back/full/2016-08-08_00-46-06/

#cp /data/mysql/data3307.bak/my.cnf  /data/mysql/data3307/

#chown –R mysql.mysql /data/mysql/data3307

#/etc/init.d/mysql3307 start

 

增量备份恢复

停止mysql

#/etc/init.d/mysql3307 stop

应用完全备份

#innobackupex --user=root --password=123456--socket=/data/mysql/data3307/mysql.sock --apply-log --use-memory=100M --redo-only/back/full/2016-08-08_00-46-06/

将第一次增量备份应用到完全备份上

#innobackupex --user=root --password=123456--socket=/data/mysql/data3307/mysql.sock --apply-log --use-memory=100M --redo-only/back/full/2016-08-08_00-46-06/ --incremental-dir=/back/incre/2016-07-28_01-46-28/

将第二次增量备份应用到完全备份上

#innobackupex --user=root --password=123456--socket=/data/mysql/data3307/mysql.sock --apply-log --use-memory=100M --redo-only /back/full/2016-08-08_00-46-06/ --incremental-dir=/back/incre/2016-07-28_01-50-41/

以此类推。。。最后一个增量库不加–redo-only选项

创建mysql数据目录

#mv /data/mysql/data3307/data/mysql/data3307.bak

#mkdir /data/mysql/data3307

将完全备份恢复到数据库中

#innobackupex --user=root --password=123456--socket=/data/mysql/data3307/mysql.sock --copy-back --datadir=/data/mysql/data3307/back/full/2016-08-08_00-46-06/

启动mysql

#cp data3307.bak/my.cnf data3307/

#chown -R mysql.mysql data3307

#/etc/init.d/mysql3307 start

查看数据是否恢复

 

 

备份的文件说明：

(1)xtrabackup_checkpoints ―― 备份类型（如完全或增量）、备份状态（如是否已经为prepared状态）和LSN(日志序列号)范围信息；

每个InnoDB页(通常为16k大小)都会包含一个日志序列号，即LSN。LSN是整个数据库系统的系统版本号，每个页面相关的LSN能够表明此页面最近是如何发生改变的。

#cat xtrabackup_checkpoints

backup_type = full-backuped        #注明这是全备

from_lsn = 0                  #全备的lsn起始号

to_lsn = 2026561686             #全备记录到的最大序列号

last_lsn = 2026562643           #全备完成后当前的日志序列号

compact = 0                  #注明没有进行打包

 

(2)xtrabackup_binlog_info ―― mysql服务器当前正在使用的二进制日志文件及至备份这一刻为止二进制日志事件的位置。

#cat xtrabackup_binlog_info

mysql-bin.0000011371180-1-175

 

(3)backup-my.cnf ―― 备份命令用到的配置选项信息和备份无关的不会记录，备份配置文件的话需要单独备份。

#cat backup-my.cnf

# This MySQL options file was generated byinnobackupex.

# The MySQL server

[mysqld]

innodb_checksum_algorithm=innodb

innodb_log_checksum_algorithm=innodb

innodb_data_file_path=ibdata1:12M:autoextend

innodb_log_files_in_group=2

innodb_log_file_size=50331648

innodb_fast_checksum=false

innodb_page_size=16384

innodb_log_block_size=512

innodb_undo_directory=.

innodb_undo_tablespaces=0

server_id=1

redo_log_version=0

 

(4)xtrabackup_info ―― 记录了mariadb的版本信息和一些属性信息，还原是检测版本匹配度时用到。

#cat xtrabackup_info

uuid = cda678f9-4dde-11e6-9906-0050562d6ff0

name =

tool_name = innobackupex

tool_command =--defaults-file=/data/mysql/data3307/my.cnf --use-memory=4G --user=root--password=... --port=3307 --socket=/data/mysql/data3307/mysql.sock --incremental/back/dump/incre/2016-07-20_02-28-40 --incremental-basedir/back/dump/incre/2016-07-20_02-28-40/2016-07-20_02-29-12

tool_version = 2.4.4

ibbackup_version = 2.4.4

server_version = 10.1.14-MariaDB

start_time = 2016-07-20 02:29:58

end_time = 2016-07-20 02:30:00

lock_time = 0

binlog_pos = filename ‘master-bin.000031‘,position ‘1532‘, GTID of the last change ‘0-1-4383‘

innodb_from_lsn = 1729763

innodb_to_lsn = 1735728

partial = N

incremental = Y

format = file

compact = N

compressed = N

encrypted = N