逻辑备份,mysqldump,SELECT…INTO OUTFILE,恢复

Posted 2020-08-28 wade&luffy

逻辑备份

mysqldump

mysqldump备份工具最初由Igor Romanenko编写完成，通常用来完成转存（dump）数据库的备份以及不同数据库之间的移植，例如从低版本的MySQL数据库升级到高版本的MySQL数据库，或者从MySQL数据库移植到Oracle和SQL Server等数据库等。

mysqldump的语法如下：

mysqldump [arguments] ＞ file_name

如果想要备份所有的数据库，可以使用--all-databaes选项：

mysqldump --all -databases ＞ dump.sql

如果想要备份指定的数据库，可以使用--databases选项：

mysqldump --databases db1 db2 db3 ＞ dump.sql

如果想要对test这个架构进行备份，可以使用如下语句：

mysqldump --single -transaction test ＞ test_backup.sql

我们使用--single-transaction选项来保证备份的一致性，备份出的test_backup.sql是文本文件，通过命令cat就可以查看文件的内容：cat test_backup.sql

可以看到，备份出的文件内容就是表结构和数据，所有这些都是用SQL语句表示的。文件开始和结束处的注释是用来设置MySQL数据库的各项参数的，一般用来使还原工作能更有效和准确的进行。之后的部分先是CREATE TABLE语句，之后就是INSERT语句了。

mysqldump的参数选项很多，可以通过mysqldump -help命令来查看所有的参数，有些参数有缩写，如--lock-tables的缩写为-l，重点介绍一些比较重要的参数。

--single-transaction：在备份开始前，先执行START TRANSACTION命令，以此来获得备份的一致性，当前该参数只对InnoDB存储引擎有效。当启用该参数并进行备份时，确保没有其他任何的DDL语句执行，因为一致性读并不能隔离DDL语句。

--lock-tables（-l）：在备份中，依次锁住每个架构下的所有表。一般用于MyISAM存储引擎，备份时只能对数据库进行读取操作，不过备份依然可以保证一致性。对于InnoDB存储引擎，不需要使用该参数，用--single-transaction即可，并且-lock-tables和-single-transaction是互斥（exclusive）的，不能同时使用。如果你的MySQL数据库中既有MyISAM存储引擎的表，又有InnoDB存储引擎的表，那么这时你的选择只有--lock-tables了。另外，前面说了，--lock-tables选项是依次对每个架构中的表上锁的，因此只能保证每个架构下表备份的一致性，而不能保证所有架构下表的一致性。

--lock-all-tables（-x）：在备份过程中，对所有架构中的所有表上锁。这可以避免之前提及的--lock-tables参数不能同时锁住所有表的问题。

--add-drop-database：在CREATE DATABASE前先运行DROP DATABASE。这个参数需要和-all-databases或者-databases选项一起使用。默认情况下，导出的文本文件中并不会有CREATE DATABASE，除非你指定了这个参数，因此可能会看到如下内容：

mysqldump --single -transaction --add -drop -database --databases test ＞ test_backup.sql

cat test_backup.sql

--master-data[=value]：通过该参数产生的备份转存文件主要用来建立一个slave replication。当value的值为1时，转存文件中记录CHANGE MASTER语句；当value的值为2时，CHANGE MASTER语句被写成SQL注释。默认情况下，value的值为空。

当value值为1时，在备份文件中会看到：

mysqldump --single -transaction --add -drop -database --master -data=1 --databases test＞test_backup.sql

cat test_backup.sql

CHANGE MASTER TO MASTER_LOG_FILE=‘xen-server-bin.000006‘，MASTER_LOG_POS=8095；

当value为2时，在备份文件中会看到CHANGE MASTER语句被注释了：

mysqldump --single -transaction --add -drop -database --master -data=1 --databases test＞test_backup.sql

cat test_backup.sql

--Position to start replication or point-in-time recovery from

--master-data会自动忽略-lock-tables选项。如果没有使用-single-transaction选项，则会自动使用-lock-all-tables选项。

--events（-E）：备份事件调度器。

--routines（-R）：备份存储过程和函数。

--triggers：备份触发器。

--hex-blob：将BINARY、VARBINARY、BLOG、BIT列类型备份为十六进制的格式。mysqldump导出的文件一般是文本文件，但是，如果导出的数据中有上述这些类型，文本文件模式下可能有些字符不可见，若添加-he-blob选项，结果会以十六进制的方式显示，如：

mysqldump --single -transaction --add -drop -database --master -data=2 --no -autocommit --databases test3 ＞ test3_backup.sql

cat test3_backup.sql

LOCK TABLES‘a‘WRITE；

set autocommit=0；

INSERT INTO‘a‘VALUES（0x61000000000000000000）；

UNLOCK TABLES；

可以看到，这里用0x61000000000000000000（十六进制的格式）来导出数据。

--tab=path（-T path）：产生TAB分割的数据文件。对于每张表，mysqldump创建一个包含CREATE TABLE语句的table_name.sql文件和包含数据的tbl_name.txt。可以使用--fields-terminated-by=……，--fields-enclosed-by=……，--fields-optionally-enclosed-by=……，--fields-escaped-by=……，--lines-terminated-by=……来改变默认的分割符、换行符等，如：

mysqldump --single -transaction --add -drop -database --tab="/usr/local/mysql/data/test" test

大多数DBA喜欢用SELECT……INTO OUTFILE的方式来导出一张表，但是通过mysqldump一样可以完成工作，而且可以一次完成多张表的导出，并且保证导出数据的一致性。

--where=‘where_condition‘（-w ‘where_condition‘）：导出给定条件的数据。

例如，导出b架构下的表a，并且表a的数据大于2，如下所示。

mysqldump --single -transaction --where=‘b＞2‘ test a ＞ a.sql

SELECT……INTO OUTFILE

SELECT……INTO语句也是一种逻辑备份的方法，或者更准确地说是导出一张表中的数据。

SELECT……INTO的语法如下：

SELECT [column 1], [column 2]……

INTO

OUTFILE ‘file_name‘

[{FIELDS|COLUMNS}

　　[TERMINATED BY‘string‘]

　　[[OPTIONALLY]ENCLOSED BY‘char‘]

　　[ESCAPED BY‘char‘]

]

[LINES

　　[STARTING BY‘string‘]

　　[TERMINATED BY‘string‘]

]

FROM TABLE WHERE……

字段[TERMINATED BY ‘string‘]表示每个列的分隔符，

[[OPTIONALLY]ENCLOSED BY‘char‘]表示对于字符串的包含符，

[ESCAPED BY‘char‘]表示转义符，

[STARTING BY‘string‘]表示每行的开始符号，

TERMINATED BY‘string‘表示每行的结束符号。

如果没有指定任何FIELDS和LINES的选项，默认使用以下的设置：

FIELDS TERMINATED BY ‘\t‘

ENCLOSED BY ‘‘

ESCAPED BY ‘\\‘

LINES TERMINATED BY ‘\n‘

STARTING BY ‘‘

file_name表示导出的文件，但文件所在的路径的权限必须是mysql:mysql，否则MySQL会报告没有权限导出：

select * into outfile ‘/root/a.txt‘ from a;

ERROR 1（HY000）：Can‘t create/write to file‘/root/a.txt‘（Errcode：13）

查看通过SELECT INTO导出的表a文件：

select * into outfile ‘/home/mysql/a.txt‘ from a;

quit

cat /home/mysql/a.txt

1 a

2 b

可以发现，默认导出的文件是以TAB进行列分割的，如果想要使用其他分割符，如“，”，则可以使用FIELDS TERMINATED BY‘string‘选项，如：

mysql test -e "select * into outfile ‘/home/mysql/a.txt‘ fields terminated by‘,‘from a";

cat /home/mysql/a.txt

1，a

2，b

在Windows平台下，因为其换行符是“\r\n”，因此在导出时可能需要指定LINES TERMINATED BY选项，如：

mysql test -e "select * into outfile ‘/home/mysql/a.txt‘ fields terminated by‘,‘ lines terminated by ‘\r\n‘ from a";

od -c a.txt

0000000 1，a\r\n 2，b\r\n 3

0000017

逻辑备份的恢复

mysqldump的恢复

mysqldump的恢复操作比较简单，因为备份的文件就是导出的SQL语句，一般只需要执行这个文件就可以了，可以通过以下的方法：

mysql -uroot -p123456＜test_backup.sql

如果在导出时包含了创建和删除数据库的SQL语句，则必须确保删除架构时架构目录下没有其他与数据库无关的文件，否则可能会出现以下的错误：

drop database test;

ERROR 1010（HY000）：Error dropping database（can‘t rmdir‘./test‘，errno：39）

因为逻辑备份的文件是由SQL语句组成的，所以也可以通过SOURCE命令来执行导出的逻辑备份文件，如下所示：

source /home/mysql/test_backup.sql;

Query OK，0 rows affected（0.00 sec）

……

Query OK，0 rows affected（0.00 sec）

通过mysqldump可以恢复数据库，但是常发生的一个问题是mysqldump可以导出存储过程、触发器、事件、数据，但是却不能导出视图。因此，如果你的数据库中还使用了视图，那么在用mysqldump备份完数据库后还需要导出视图的定义，或者保存视图定义的frm文件，并在恢复时进行导入，这样才能保证mysqldump数据库的完全恢复。

LOAD DATA INFILE

若是通过mysqldump --tab或SELECT INTO OUTFILE导出的数据需要恢复时，这时需要通过LOAD DATA INFILE命令来进行导入。

LOAD DATA INFILE的语法如下所示：

LOAD DATA [LOW_PRIORITY|CONCURRENT] [LOCAL] INFILE ‘file_name‘

[REPLACE|IGNORE]

INTO TABLE tbl_name

[CHARACTER SET charset_name] 

[{FIELDS|COLUMNS}

　　[TERMINATED BY‘string‘]

　　[[OPTIONALLY]ENCLOSED BY‘char‘]

　　[ESCAPED BY‘char‘]

]

[LINES

　　[STARTING BY‘string‘]

　　[TERMINATED BY‘string‘]

]

[IGNORE number LINES]

[(col_name_or_user_var,……)]

[SET col_name=expr,……]

要对服务器文件使用LOAD DATA INFILE，必须拥有FILE权，其中导入格式的选项和之前介绍的SELECT INTO OUTFILE命令完全一样。IGNORE number LINES选项可以忽略导入的前几行。

下面来看一个用LOAD DATA INFILE命令导入文件的示例，并忽略第一行的导入：

load data infile ‘/home/mysql/a.txt‘ into table a;

为了加快InnoDB存储引擎的导入，你可能希望导入过程忽略对外键的检查，因此可以使用如下方式。

set @@foreign_key_checks=0;

load data infile ‘/home/mysql/a.txt‘ into table a;

set @@foreign_key_checks=1；

可以针对指定的列进行导入，如将数据导入列a、b，而c列等于a、b列之和：

create table b(a int,b int,c int,primary key(a))engine=innodb;

load data infile ‘/home/mysql/a.txt‘ into table b fields terminated by ‘,‘ (a,b) set c=a+b;

LOAD DATA INFILE命令可以用来导入数据，但同时可以完成对Linux操作系统的监控。如果需要监控CPU的使用情况，可以通过加载/proc/stat来完成。

首先我们需要建立一张监控CPU的表cpu_stat，其结构如下所示：

CREATE TABLE IF NOT EXISTS DBA.cpu_stat(

　　id bigint auto_increment primary key,

　　value char(25) NOT NULL,

　　user bigint,

　　nice bigint,

　　system bigint,

　　idle bigint,

　　iowait bigint,

　　irq bigint,

　　softirq bigint,

　　steal bigint,

　　guest bigint,

　　other bigint,

　　time datetime

);

接着可以通过用LOAD DATA INFILE命令来加载/proc/stat文件，但需要对其中一些数值进行转化，命令如下所示：

LOAD DATA INFILE ‘/proc/stat‘
IGNORE INTO TABLE DBA.cpu_stat
FIELDS TERMINATED BY‘‘
(@value,@val1,@val2,@val3,@val4,@val5,@val6,@val7,@val8,@val9,@val10)
SET
[email protected],
user=IF(@value NOT LIKE ‘cpu%‘, NULL,IF(@value！=‘cpu‘,IFNULL(@val1,0),IFNULL(@val2,0))),
nice=IF(@value NOT LIKE ‘cpu%‘,NULL,IF(@value！=‘cpu‘,IFNULL(@val2,0),IFNULL(@val3,0))),
system=IF(@value NOT LIKE ‘cpu%‘,NULL,IF(@value！=‘cpu‘,IFNULL(@val3,0),IFNULL(@val4,0))),
idle=IF(@value NOT LIKE ‘cpu%‘,NULL,IF(@value！=‘cpu‘,IFNULL(@val4,0),IFNULL(@val5,0))),
iowait=IF(@value NOT LIKE ‘cpu%‘,NULL,IF(@value！=‘cpu‘,IFNULL(@val5,0),IFNULL(@val6,0))),
irq=IF(@value NOT LIKE ‘cpu%‘,NULL,IF(@value！=‘cpu‘,IFNULL(@val6,0),IFNULL(@val7,0))),
softirq=IF(@value NOT LIKE ‘cpu%‘,NULL,IF(@value！=‘cpu‘,IFNULL(@val7,0),IFNULL(@val8,0))),
steal=IF(@value NOT LIKE ‘cpu%‘,NULL,IF(@value！=‘cpu‘,IFNULL(@val8,0),IFNULL(@val9,0))),
guest=IF(@value NOT LIKE ‘cpu%‘,NULL,IF(@value！=‘cpu‘,IFNULL(@val9,0),IFNULL(@val10,0))),
other=IF（@value like ‘cpu%‘,user+nice+system+idle+iowait+irq+softirq+steal+guest,@val1),
time=now();

接着查看表cpu_stat，可以看到类似如下的内容：

select * from cpu_stat\G

***************************1.row***************************

id：1

value：cpu

user：2632896

nice：67761

system：688488

idle：4136329105

iowait：1468238

irq：0

softirq：106303

steal：148300

guest：0

other：4141441091

time：2010-09-10 12：01：04

 

***************************14.row***************************

id：14

value：procs_running

user：NULL

nice：NULL

system：NULL

idle：NULL

iowait：NULL

irq：NULL

softirq：NULL

steal：NULL

guest：NULL

other：1

time：2010-09-10 12：01：04

***************************15.row***************************

id：15

value：procs_blocked

user：NULL

nice：NULL

system：NULL

idle：NULL

iowait：NULL

irq：NULL

softirq：NULL

steal：NULL

guest：NULL

other：0

time：2010-09-10 12：01：04

15 rows in set（0.00 sec）

接着可以设置一个定时器来让MySQL数据库自动地运行上述LOAD DATA INFILE语句，这样就会有每个时间点的CPU信息被记录到表cpu_stat。

执行下述语句就可以得到每个时间点上CPU的使用情况：

select
　　100*((new.user-old.user)/(new.other-old.other))user,
　　100*((new.nice-old.nice)/(new.other-old.other))nice,
　　100*((new.system-old.system)/(new.other-old.other))system,
　　100*((new.idle-old.idle)/(new.other-old.other))idle,
　　100*((new.iowait-old.iowait)/(new.other-old.other))iowait,
　　100*((new.irq-old.irq)/(new.other-old.other))irq,
　　100*((new.softirq-old.softirq)/(new.other-old.other))softer,
　　100*((new.steal-old.steal)/(new.other-old.other))steal,
　　100*((new.guest-old.guest)/(new.other-old.other))guest,
　　new.time
from DBA.cpu_stat old,
　　DBA.cpu_stat new
where new.id-15=old.id
　　and old.value=‘cpu‘
　　and new.value=old.value\G;

同样，我们还可以对/proc/diskstat文件执行如上述所示的操作，这样就又可以对磁盘进行监控操作了。

mysqlimport

mysqlimport是MySQL数据库提供的一个命令行程序，从本质上来说，是LOAD DATA INFILE的命令接口，而且大多数的选项都和LOAD DATA INFILE语法相同。其语法格式如下：

mysqlimport [options] db_name textfile1[textfile2……]

与LOAD DATA INFILE不同的是，mysqlimport命令是可以导入多张表的，并且通过--user-thread参数来并发导入不同的文件。这里的并发是指并发导入多个文件，并不是指mysqlimport可以并发地导入一个文件，这是有区别的，并且并发地对同一张表进行导入，效果一般都不会比串行的方式好。

通过mysqlimport并发地导入两张表。

mysqlimport --use -threads=2 test /home/mysql/t.txt /home/mysql/s.txt

如果在上述命令运行的过程中查看MySQL的数据库线程列表，应该可以看到类似如下的内容：

show full processlist\G

***************************1.row***************************

Id：46

User：rep

Host：www.dao.com：1028

db：NULL

Command：Binlog Dump

Time：37651

State：Master has sent all binlog to slave；waiting for binlog to be updated

Info：NULL

***************************2.row***************************

Id：77

User：root

Host：localhost

db：test

Command：Query

Time：0

State：NULL

Info：show full processlist

***************************3.row***************************

Id：83

User：root

Host：localhost

db：test

Command：Query

Time：73

State：NULL

Info：LOAD DATA INFILE ‘/home/mysql/t.txt‘ INTO TABLE ‘t‘ IGNORE 0 LINES

***************************4.row***************************

Id：84

User：root

Host：localhost

db：test

Command：Query

Time：73

State：NULL

Info：LOAD DATA INFILE ‘/home/mysql/s.txt‘ INTO TABLE ‘s‘ IGNORE 0 LINES

4 rows in set（0.00 sec）

mysqlimport实际上是同时执行了2条LOAD DTA INFILE语句来完成并发导入操作。