Linux九阴真经之九阴白骨爪残卷12（备份还原）

Posted 2020-11-18 huxiaojun

一、备份策略

1、备份的类型

• 类型1：
• 热备份：读写不受影响（MyISAM不支持热备，InnoDB支持热备）
• 温备份：仅可以执行读操作
• 冷备份：离线备份，读写操作均中止
• 类型2：
• 物理备份：复制数据文件进行备份，占用较多的空间，速度快
• 逻辑备份：将数据导出至文本文件中，占用空间少，速度慢，可能丢失精度
• 类型3：
• 完全备份：备份全部数据
• 增量备份：仅备份上次完全备份或增量备份以后变化的数据，备份较快，还原复杂
• 差异备份：仅备份上次完全备份以来变化的数据，备份较慢，还原简单

2、备份需要考虑的因素

• 温备的持锁多久，在锁状态的情况下无法写入数据
• 备份产生的负载，要调空闲的时间备份
• 备份过程的时长，数据量大的时候时间会很长，要选择合适的方案
• 恢复过程的时长，备份数据需要即时测试

3、备份的目标

• 数据库数据，每个表空间单独存放
• 二进制日志，需要和数据分开存储
• InnoDB的事务日志
• 存储过程、存储函数、触发器或事件调度器等
• 服务器的配置文件：/etc/my.cnf

4、备份工具

• mysqldump工具：逻辑备份工具，适用所有存储引擎温备；支持完全或部分备份；对InnoDB存储引擎支持热备；Schema（数据库的定义）和数据存储在一起。

用法：
           shell> mysqldump [options] db_name [tbl_name ...]
           shell> mysqldump [options] --databases db_name ...
           shell> mysqldump [options] --all-databases
选项：
    -A：备份所有库
    -B db_name1,[db_name2,...]：备份指定库
    -E：备份相关的所有event scheduler
    -R：备份所有存储过程和存储函数
    --triggers：备份表相关触发器，默认启用,用--skip-triggers，不备份触发器
    --master-data={1|2}：
         1：所备份的数据之前加一条记录为CHANGE MASTER TO语句，非注释，不指定默认为1
         2：记录为注释的CHANGE MASTER TO语句，注意：此选项会自动关闭--lock-tables功能，自动打开--lock-all-tables功能（除非开启--single-transaction）
    -F：备份前滚动日志，锁定表完成后，执行flush logs命令,生成新的二进制日志文件，配合-A时，会导致刷新多次数据库，在同一时刻执行转储和日志刷新，则应同时使用--flush-logs和-x，--master-data或-single-transaction,此时只刷新一次；建议：和-x，--master-data或 --single-transaction一起使用
    --compact 去掉注释，适合调试，生产不使用
    -d：只备份表结构
    -t：只备份数据，不备份create table
    -n：不备份create database，可被-A或-B覆盖
    --flush-privileges：备份前刷新授权表，备份mysql库或相关时需要使用
    -f：忽略SQL错误，继续执行
    --hex-blob：使用十六进制符号转储二进制列（例如，“abc”变为0x616263），受影响的数据类型包括BINARY， VARBINARY，BLOB，BIT
    -q：不缓存查询，直接输出，加快备份速度

MyISAM备份选项：支持温备；不支持热备，所以必须先锁定要备份的库，而后启动备份操作
-x,--lock-all-tables：加全局读锁，锁定所有库的所有表，同时加--single-transaction或--lock-tables选项会关闭此选项功能，注意：数据量大时，可能会导致长时间无法并发访问数据库
-l,--lock-tables：对于需要备份的每个数据库，在启动备份之前分别锁定其所有表，默认为on,--skip-lock-tables选项可禁用,对备份MyISAM的多个库,可能会造成数据不一致

InnoDB备份选项：支持热备，可用温备但不建议用
--single-transaction：此选项Innodb中推荐使用，不适用MyISAM，此选项会开始备份前，先执
行START TRANSACTION指令开启事务此选项通过在单个事务中转储所有表来创建一致的快照。仅适用于存储在支持多版本控制的存储引擎中的表（目前只有InnoDB可以）; 转储不保证与其他存储引擎保持一致。

? 在进行单事务转储时，要确保有效的转储文件（正确的表内容和二进制日志位置），需要保证没有其他连接使用以下语句：ALTER TABLE，DROP TABLE，RENAME TABLE，TRUNCATE TABLE

? 此选项和 --lock-tables（此选项隐含提交挂起的事务）选项是相互排斥备份大型表时，建议将--single-transaction选项和--quick结合一起使用

 

 

 

InnoDB建议备份策略：
    mysqldump –uroot –A –F –E –R  --single-transaction --master-data=1 --flush-privileges  --triggers --hex-blob >$BACKUP/fullbak_$BACKUP_TIME.sql

MyISAM建议备份策略：
    mysqldump –uroot –A –F –E –R –x --master-data=1 --flush-privileges  --triggers --hex-blob >$BACKUP/fullbak_$BACKUP_TIME.sql

• xtrabackup工具：由Percona提供支持对InnoDB做热备(物理备份)的工具，支持完全备份、增量备份

由Percona公司提供的mysql数据库备份工具，开源的能够对innodb和xtradb数据库进行热备的工具；

xtrabackup 是用来备份 InnoDB 表的，不能备份非 InnoDB 表；

innobackupex 脚本用来备份非 InnoDB 表，同时会调用 xtrabackup 命令来备份 InnoDB 表，还会和 MySQL Server 发送命令进行交互，如加全局读锁（FTWRL）、获取位点（SHOW SLAVE STATUS）等。即innobackupex是在xtrabackup 之上做了一层封装实现的；

虽然目前一般不用 MyISAM 表，只是 MySQL 库下的系统表是 MyISAM 的，因此备份基本都通过 innobackupex 命令进行；

xtrabackup版本升级到2.4后，相比之前的2.1有了比较大的变化：innobackupex 功能全部集成到 xtrabackup 里面，只有一个 binary程序，另外为了兼容考虑，innobackupex作为 xtrabackup 的软链接，即xtrabackup现在支持非Innodb表备份，并且Innobackupex在下一版本中移除，建议通过xtrabackup替换innobackupex。

参考手册：https://www.percona.com/doc/percona-xtrabackup/LATEST/index.html

 

使用innobakupex备份时，其会调用xtrabackup备份所有的InnoDB表，复制所有关于表结构定义的相关文件(.frm)、以及MyISAM、MERGE、CSV和ARCHIVE表的相关文件，同时还会备份触发器和数据库配置信息相关的文件。这些文件会被保存至一个以时间命名的目录中,在备份时，innobackupex还会在备份目录中创建如下文件：

1）xtrabackup_checkpoints：备份类型（如完全或增量）、备份状态（如是否已经为prepared状态）和LSN(日志序列号)范围信息,每个InnoDB页(通常为16k大小)都会包含一个日志序列号，即LSN。LSN是整个数据库系统的系统版本号，每个页面相关的LSN能够表明此页面最近是如何发生改变的；

2）xtrabackup_binlog_info：MySQL服务器当前正在使用的二进制日志文件及至备份这一刻为止二进制日志事件的位置；

3）xtrabackup_info：innobackupex工具执行时的相关信息；

4）backup-my.cnf：备份命令用到的配置选项信息；

5）xtrabackup_logfile：备份生成的日志文件。

用法：
    innobackupex --user=DBUSER --password=DBUSERPASS /path/to/BACKUP-DIR/
选项：
    --user：该选项表示备份账号
    --password：该选项表示备份的密码
    --host：该选项表示备份数据库的地址
    --databases：该选项接受的参数为数据名，如果要指定多个数据库，彼此间需要以空格隔开；如："xtra_test dba_test"，同时，在指定某数据库时，也可以只指定其中的某张表。如："mydatabase.mytable"。该选项对innodb引擎表无效，还是会备份所有innodb表
    --defaults-file：该选项指定从哪个文件读取MySQL配置，必须放在命令行第一个选项位置
    --incremental：该选项表示创建一个增量备份，需要指定--incremental-basedir
    --incremental-basedir：该选项指定为前一次全备份或增量备份的目录，与--incremental同时使用
    --incremental-dir：该选项表示还原时增量备份的目录
    --include=name：指定表名，格式：databasename.tablename
    --apply-log：一般情况下,在备份完成后，数据尚且不能用于恢复操作，因为备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务。因此，此时数据文件仍处理不一致状态。此选项作用是通过回滚未提交的事务及同步已经提交的事务至数据文件使数据文件处于一致性状态
    --use-memory：该选项表示和--apply-log选项一起使用，prepare 备份的时候，xtrabackup做crash recovery分配的内存大小，单位字节。也可(1MB,1M,1G,1GB)，推荐1G
    --export：表示开启可导出单独的表之后再导入其他Mysql中
    --redo-only：此选项在prepare base full backup，往其中merge增量备份时候使用
    --copy-back：做数据恢复时将备份数据文件拷贝到MySQL服务器的datadir
    --move-back：这个选项与--copy-back相似，唯一的区别是它不拷贝文件，而是移动文件到目的地。这个选项移除backup文件，用时候必须小心。使用场景：没有足够的磁盘空间同事保留数据文件和Backup副本
注意：

 

1）datadir目录必须为空。除非指定innobackupex --force-non-empty-directorires选项指定，否则--copy-backup选项不会覆盖；

2）在restore之前,必须shutdown MySQL实例，不能将一个运行中的实例restore到datadir目录中；

3）由于文件属性会被保留，大部分情况下需要在启动实例之前将文件的属主改为mysql，chown -R mysql:mysql /data/mysqldb

• mysqlbackup工具：热备份，MySQL Enterprise Edition组件
• mysqlhotcopy工具：几乎冷备，仅适用于MyISAM存储引擎
• 基于lvm快照备份：几乎热备，需要在拍快照前锁表
• tar + cp 等归档复制工具备份：完全冷备

三、备份方案

一、cp + tar == 物理冷备（不推荐）

1、备份：

~]# mkdir /backup
~]# systemctl stop mariadb #停止服务
~]# tar Jcf /backup/mariadb_all.tar.xz /var/lib/mysql/ #打包压缩
backup]# systemctl start mariadb

2、还原：

~]# systemctl stop mariadb
~]# rm /var/lib/mysql/ -rf  #将损坏的库删除
~]# cd /backup/
backup]# tar xf mariadb_all.tar.xz  #解压打包的数据库文件
backup]# cp -av var/lib/mysql/ /var/lib/ #还原
backup]# systemctl start mariadb #启动服务，恢复成功

 

二、备份

 

1、创建一个逻辑卷

[[email protected] ~]#fdisk /dev/sda
n        新建磁盘
回车     默认选项
+15G    给15G大小
t       列出类型
8e      选择8e LVM逻辑卷
w       保存退出

[[email protected] ~]#partprobe      同步

[[email protected] ~]#lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 200G 0 disk
├─sda1 8:1 0 1G 0 part /boot
├─sda2 8:2 0 50G 0 part /
├─sda3 8:3 0 30G 0 part /date
├─sda4 8:4 0 512B 0 part
├─sda5 8:5 0 2G 0 part [SWAP]
└─sda6 8:6 0 15G 0 part
sr0 11:0 1 8.1G 0 rom /mnt/cdrom

 

2、创建物理卷组，将pv加入逻辑卷组

[[email protected] ~]#pvcreate /dev/sda6   #创建物理卷
  Physical volume "/dev/sda6" successfully created.
[[email protected] ~]#vgcreate vg0 /dev/sda6   #创建逻辑卷组vg0，将物理卷加入逻辑卷组
  Volume group "vg0" successfully created

 

3、创建2个逻辑卷，分别存放数据库文件和二进制文件并格式化

[[email protected] ~]#lvcreate -L 5G -n mysql vg0
Logical volume "mysql" created.
[[email protected] ~]#lvcreate -L 3G -n binlog vg0
Logical volume "binlog" created.

[[email protected] ~]#mkfs.xfs /dev/vg0/mysql
[[email protected] ~]#mkfs.xfs /dev/vg0/binlog

 

4、将这个盘设置为自动挂载 ，并修改配置文件

vim /etc/fstab

 

[mysqld]
log_bin=/date/binlog/mysql-bin（生成文件名为mysql-bin前缀，后面是 00001.....）     #设置为启用二进制文件并制定目录
datadir=/date/mysql                #指定数据库目录
socket=/var/lib/mysql/mysql.sock                                                                
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
# Settings user and group are ignored when systemd is used.

 

4、重启mariadb服务，给数据库临时加锁

MariaDB [(none)]> flush tables with read lock;   #加锁

 MariaDB [(none)]> show master logs;           #查看日志
+------------------+-----------+
| Log_name | File_size |
+------------------+-----------+
| mysql-bin.000001 | 30343 |
| mysql-bin.000002 | 1038814 |
| mysql-bin.000003 | 7655 |
+------------------+-----------+

 

5、刷新日志，分别出之前日志（最后一个为最新刷新的日志）

MariaDB [(none)]> flush logs;
Query OK, 0 rows affected (0.01 sec)

MariaDB [(none)]> show master logs;
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000001 |     30343 |
| mysql-bin.000002 |   1038814 |
| mysql-bin.000003 |      7698 |
| mysql-bin.000004 |       245 | #最新日志
+------------------+-----------+

 

6、对数据库文件创建快照，有了备份，就可以给数据库解锁了

[[email protected] ~]#lvcreate -L 1G -n mysql-kz -s -pr /dev/vg0/mysql
Using default stripesize 64.00 KiB.

  [[email protected] ~]#mysql

  MariaDB [(none)]> unlock tables;     #解锁
  Query OK, 0 rows affected (0.00 sec)

 

7、将快照挂载到mnt下 ， 然后将mnt下的所有内容复制到事先创建好的backup文件夹内

[[email protected] ~]#mount -o nouuid,norecovery /dev/vg0/mysql-kz /mnt     #挂载快照
mount: /dev/mapper/vg0-mysql--kz is write-protected, mounting read-only   

  [[email protected] ~]#mkdir /backup
  [[email protected] ~]#cp -av /mnt/* /backup/    #备份文件

　　取消挂载 ， 移除快照

[[email protected] ~]#umount /mnt
[[email protected] ~]#lvremove /dev/vg0/mysql-kz
Do you really want to remove active logical volume vg0/mysql-kz? [y/n]: y
  Logical volume "mysql-kz" successfully removed

 

8、到这里所有备份都已经 完成，接下来要恢复数据库了；在这之前，假如我们先对数据库进行简单的修改，新建一个数据库db2 

[[email protected] ~]#mysql
MariaDB [(none)]> create database db2;
MariaDB [(none)]> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| db2                |
| hellodb            |
| mysql              |
| performance_schema |
| test               |
+--------------------+

 

接下来 我们要先停止数据库服务，然后删库

[[email protected] ~]#systemctl stop mariadb
[[email protected] ~]#rm -rf /date/mysql/*

当我们发现数据库被删，或硬盘损坏都已经修好之后, 就开始恢复数据了，首先将我们备份的文件复制到 mysql目录内

[[email protected] ~]#cp -av /backup/* /date/mysql
[[email protected] ~]#systemctl start mariadb

 

这时 我们发现 mysql 可以用了，但是 在之前创建的数据库db2 并没有恢复

MariaDB [(none)]> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| hellodb            |
| mysql              |
| performance_schema |
| test               |
+--------------------+   并没有db2 数据库

 

9、我们可以用数据库的二进制文件进行恢复，但恢复之前要对数据库进行加锁，防止用户在恢复过程中对数据库修改。

MariaDB [(none)]> flush tables with read lock;
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> show master logs;
+------------------+-----------+
| Log_name         | File_size |
+------------------+-----------+
| mysql-bin.000001 |     30343 |
| mysql-bin.000002 |   1038814 |
| mysql-bin.000003 |      7698 |
| mysql-bin.000004 |       458 |
| mysql-bin.000005 |       245 |  #此时最新日志为5了
+------------------+-----------+

 

10、我们进到 /date/binlog 目录内， 将二进制文件导出 到backup 文件夹内 ，为了防止用户访问，可以禁止网络连接，写在配置文件内

[[email protected] binlog]#mysqlbinlog --start-position=458 mysql-bin.000004 > /backup/bin.sql  #这里的000004二进制文件表示 000004以后 的所有修改数据都备份，但仅仅针对于000004 这一个二进制文件
[[email protected] binlog]#mysqlbinlog mysql-bin.000005 >> /backup/bin.sql    #将000005以后二进制文件的文件 追加到 一个新的文件内

  [mysqld]
  skip_networking
  log_bin=/date/binlog/mysql-bin
  datadir=/date/mysql
  socket=/var/lib/mysql/mysql.sock
  # Disabling symbolic-links is recommended to prevent assorted security risks

 

 重启服务，检查一下3306端口 是否打开， 没有则为关闭，可以随意恢复了

[[email protected] binlog]#systemctl restart mariadb
[[email protected] binlog]#ss -tnl
State       Recv-Q Send-Q         Local Address:Port                        Peer Address:Port              
LISTEN      0      128                        *:111                                    *:*                  
LISTEN      0      128                        *:22                                     *:*                  
LISTEN      0      128                127.0.0.1:631                                    *:*                  
LISTEN      0      128                       :::111                                   :::*                  
LISTEN      0      128                       :::22                                    :::*                  
LISTEN      0      128                      ::1:631                                   :::*                  
[[email protected] binlog]#

 

11、我们将最新的二进制日志导入数据库，然后将网络开启，重启服务

[[email protected] binlog]#mysql < /backup/bin.sql
[[email protected] binlog]#vim /etc/my.cnf   
   删除 skip_networking 删除即可
[[email protected] binlog]#systemctl restart mariadb

 

测试一下  看看是否恢复成功

MariaDB [(none)]> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| db2                |   #db2 已经恢复 
| hellodb            |
| mysql              |
| performance_schema |
| test               |
+--------------------+