MySQL备份与恢复
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了MySQL备份与恢复相关的知识，希望对你有一定的参考价值。
mysql备份与恢复
第1章 关于备份的概念
1.1 为什么要进行备份?
备份是数据安全的最后一道防线,对于任何数据丢失的场景,备份虽然不一定能恢复百分之百的数据(这主要取决于备份的周期),但至少能尽量将损失降到最低,衡量备份的恢复有两个重要的指标:恢复点目标(RPO)和恢复时间目标(RTO),前者关注能恢复到什么程度,后者关注恢复需要多长时间
1.2 mysql备份的类型:
1.2.1 热备份:
不影响业务的正常工作,在工作的过程中,进行备份,这些动态备份在读取或修改数据的过程中进行,很少中断或者不中断传输或处理数据,使用热备份时,系统仍可供读取和修改数据的操作访问
1.2.2 冷备份:
关闭数据库之后进行备份,这个备份在用户不能访问数据时进行,因此无法读取或修改数据,这些脱机备份会阻止任何使用数据的活动,这些类型的备份不会干扰正常运性的系统的性能,但是对于某些应用程序,会无法接受必须在一段较长的时间里锁定或完全阻止用户访问数据
1.2.3 温备份:
这些备份在读取数据是进行,但在多数情况下,在进行备份时不能修改数据本身,这种中途备份类型的优点是不必完全锁定最终用户,但缺点是无法在进行备份时修改数据集,这可能使这种类型的备份不适用于某些应用程序,在备份过程中无法修改数据可能产生性能问题
1.3 备份的方式主要有两种:
物理备份--->使用sql语句
逻辑备份--->数据文件的二进制副本
增量备份--->备份二进制日志文件,可以后恢复到任意时间点的数据
1.4 备份的工具:
1. mysqldump : mysql自带的逻辑备份工具
2. mysqlbinlog : 实现binlog备份的自带命令
3. xtrabackup : precona公司开发的性能很高的物理备份工具
第2章 逻辑备份工具:
2.1 mysqldump :就是将库和表的创建语句以及insert语句以文本的形式备份出来
musqldump命令参数:
注意:mysqldump在备份需要依赖SQL层进行解析,因此mysql服务在关闭时,无法进行备份
2.1.1 企业标准备份语句示例:
mysqldump -uroot -p123 -A -R --triggers --master-data=2 >/bak/full.sql|gzip >/bak/all_$(date +%F).sql.gz [[email protected] bak]# ll total 2272 -rw-r--r-- 1 root root 20 Apr 9 09:11 all_2018-04-09.sql.gz -rw-r--r-- 1 root root 2319228 Apr 9 09:11 full.sql
2.1.2 --master-data=2 参数表示在备份后,记录binlog文件中的时间节点
2.1.3 --single-transaction
对innoDB引擎进行热备,支持innoDB引擎,使用该参数会单独开启一个事务进行备份,利用事务的快照技术实现,基于事务引擎处理,不用锁表就可以获得一致性的备份,体现了ACID四大事务特性中的隔离性,生产中99%使用innoDB事务引擎
虽然支持热备,并不意味着你可以任意时间点进行备份,特别是业务繁忙期,不建议做备份策略,一般备份都是在夜间
2.1.4 --flush-log/F 参数表示刷新binlog日志
2.1.5 -B 参数在备份时,会加入create和use语句,恢复时不需要创建数据库即可
2.2 利用mysqldump备份进行恢复实战
1. 对jiang数据进行备份:
mysqldump -uroot -p123 -B -R --triggers --master-data=2 jiang|gzip >/tmp/all_$(date +%F).sql.gz
2. 故障模拟,删除jiang数据库
mysql> drop database jiang; Query OK, 2 rows affected (0.27 sec)
3. 使用gzip解压备份文件
[[email protected] tmp]# gzip -d all_2018-04-10.sql.gz [[email protected] tmp]# ll total 656 -rw-r--r-- 1 root root 2552 Apr 10 04:36 all_2018-04-10.sql
4. 导入备份文件
mysql> set sql_log_bin=0; mysql> source /tmp/all_2018-04-10.sql
5. 检查数据
mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | jiang | | mysql | | performance_schema | | test | +--------------------+
2.2.1 mysqlbinlog:配合备份工具使用:
mysqlbinlog --start-position --stop-position
1. 配合备份工具达到增量备份
2. 可以每周进行一次全备,记录二进制日志时间点以后,对二进制日志进行备份
第3章 生产案例一:
3.1 企业案例:
公司网站数据:一共25G,每天更改量(binlog)100M
3.1.1 故障原因:
磁盘扩容,误格式化数据磁盘
数据库系统异常断电,导致磁盘数据文件损坏.ibd
故障演练,模拟损坏
3.1.2 恢复思路:
1. 关闭所有和故障数据库有关的业务,防止二次伤害
2. 在测试库上恢复昨天的全备,追加备份时间到故障时间的binlog日志
3. 检验数据没问题后,将测试库数据导出,导入生产库
4. 重新开启业务
3.1.3 项目结果:
经过30分钟的时间,业务恢复正常
3.2 模拟案例:
周一23:00全备
mysqldump -uroot -p123 -A -R --triggers --master-data=2 >/bak/full.sql|gzip >/bak/all_$(date +%F).sql.gz
周二发生业务:
use world update city set countrycode='CHN' where countrycode='JPN'; commit; delete from city where countrycode ='USA'; commit; delete from city where countrycode <> 'CHN'; commit; delete from city where name='tokyo'; commit;
发生故障,要求恢复数据到tokyo删除之前的状态
3.2.1 具体步骤:
1. 找到备份数据,进行解压:
[[email protected] bak]# gunzip all_2018-04-09.sql.gz [[email protected] bak]# ll total 2268 -rw-r--r-- 1 root root 0 Apr 9 09:11 all_2018-04-09.sql -rw-r--r-- 1 root root 2319228 Apr 9 09:11 full.sql
2. 暂时关闭无用binlog日志
mysql> set sql_log_bin=0;
导入全备的文件
source full.sql
查看当前使用的binlog文件:
mysql> show master status; +------------------+----------+--------------+------------------+-------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set | +------------------+----------+--------------+------------------+-------------------+ | mysql-bin.000039 | 1889100 | | | | +------------------+----------+--------------+------------------+-------------------+
截取二进制日志文件:
mysqlbinlog –start-position= --stop-position=
第1章 xtrbackup
1.1 xtrabackup是什么?
percona公司的备份工具,性能比较高,是物理备份工具
1.2 xtrabackup工具的优缺点:
1.2.1 优点:
1. 物理备份工具,在同级数据量基础上,都要比逻辑备份性能好很多
2. 特别是在数据量比较大的时候,体现更加明显
1.2.2 缺点:
准备和数据库数据所占空间大小对等的备份空间
1.3 xtrabackup的备份方式:
1. 拷贝数据页文件
2. 拷贝数据文件
3. 事务日志
1.4 备份原理:
1.4.1 对于innoDB表,可以实现热备
1. 在数据还有修改操作的时候,直接将数据文件备份走,此时,备份走的数据对于当前mysql来讲是不一致的
2. 将备份过程中的redo和undo一并备走
3. 为了恢复的时候,只要保证备份出来的数据页lsn和redo lsn进行匹配,将来恢复的就是一致的数据,redo和undo应用
1.4.2 myisam表,实现自动锁表拷贝文件
备份开始时首先会开启一个后台检测进程,实时检测mysql redo变化,一旦发现有新的日志写入,立刻将日志记入后台日志文件xtrabackup_log中,之后复制innoDB的数据文件,系统表空间文件ibdatax,复制结束后,将执行flush tables with readlock,然后复制.frm MYI MYD等文件,最后执行unlock tables,最终停止xtrabackup_log
第2章 xtrabackup使用
2.1.1 安装xtrabackup
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL yum -y install percona-xtrabackup
2.1.2 全备命令:
默认按照时间戳生成:
innobackupex --user=root --password=123 /bak/
指定生成备份集的名字
innobackupex --user=root --password=123 --no-timestamp /backup/full
2.2 恢复的过程
故障模拟:删除全部数据文件 并关闭服务
rm –rf /application/mysql/data* pkill mysqld
2.2.1 准备恢复:
作用:将备份过程中commit事务,进行重做并且合并到备份中,将未提交的事务进行回滚,最终目的是lsn=redo lsn
innobackupex --apply-log /backup/full/
2.2.2 恢复方法一:
cp -a * /application/mysql/data/ chown -R mysql.mysql /application/mysql/data/
2.2.3 恢复方法二:推荐
innobackupex --copy-back /backup/full/ chown -R mysql.mysql /application/mysql/data/
第3章 xtrabackup的增量备份:
3.1 如何备份?
3.1.1 首先要有一次全备的备份集,作为基点
innobackupex --user=root --password=123 --no-timestamp /backup/full
备份后,数据库的数据并不是一成不变的,所以在一定时间后还要进行增量的备份,即只对变化的数据页进行备份,即增量备份
3.1.2 模拟数据页的变化:
mysql> use jiang mysql> create table t1(id int); mysql> insert into t1 values (1),(2),(3); mysql> select *from t1; +------+ | id | +------+ | 1 | | 2 | | 3 | +------+ 3 rows in set (0.00 sec) mysql> commit;
3.1.3 第一次增量备份:
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/full/ /backup/inc1
3.1.4 模拟数据页变化:
mysql> insert into t1 values(5),(6),(7); mysql> select * from t1; +------+ | id | +------+ | 1 | | 2 | | 3 | | 5 | | 6 | | 7 | +------+ mysql> commit;
3.1.5 第二次增量备份:
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/inc1/ /backup/inc2
3.1.6 模拟故障:
rm –rf /application/mysql/data/*
3.2 如何恢复?
3.2.1 关闭mysql服务:
pkill mysqld
3.2.2 应用日志到全备
innobackupex --apply-log --redo-only /backup/full/
3.2.3 合并第一次增量备份到全备集中:一致性的合并
innobackupex --apply-log --redo-only --incremental-dir=/backup/inc1 /backup/full/
3.2.4 合并第二次增量备份到全备集中:一致性的合并
innobackupex --apply-log --incremental-dir=/backup/inc2 /backup/full/
3.2.5 整体进行合并:
innobackupex --apply-log /backup/full
3.2.6 恢复备份:
innobackupex --copy-back /backup/full/ chown -R mysql.mysql /application/mysql/data/
3.2.7 启动数据库:
/etc/init.d/mysqld start
3.2.8 进入数据库,暂时关闭binlog日志,因为后面的sql语句是不需要记录的
mysql> set sql_log_bin=0; Query OK, 0 rows affected (0.00 sec)
3.2.9 查看备份文件中记录事务的节点信息:
cat xtrabackup_binlog_info mysql-bin.000019 920
3.2.10 将二进制日志内容导出
mysqlbinlog --start-position=920 /data/mysql/mysql-bin.000019 >/tmp/binsql.bak
3.2.11 在数据库中导入文件内容
mysql> source /tmp/binsql.bak Query OK, 0 rows affected (0.00 sec) Query OK, 0 rows affected, 1 warning (0.00 sec) Query OK, 0 rows affected (0.00 sec)
3.2.12 查看数据是否恢复
mysql> select * from t1; +------+ | id | +------+ | 1 | | 2 | | 3 | | 11 | | 22 | | 33 | | 55 | | 66 | | 77 | +------+
以上是关于MySQL备份与恢复的主要内容，如果未能解决你的问题，请参考以下文章