MySql数据导入导出

Posted 2020-11-08 tiansuomulong

今天遇到一个需求，要用自动任务将一张表的数据导入另一张表。具体场景及限制：将数据库A中表A的数据导入到数据库B的表B中（增量数据或全量数据两种方式）；体系1和体系2只能分别访问数据库A和数据库B。附图：

实现方式：体系1将表A的数据导出成文件，存入MongoDB，成功后通知体系2，体系2进行数据导入。

重点来啦：在数据导出和数据导入的时候，有几下几种方式，此处具体介绍方法三

方法一：mysqldump，但是mysqldump是在操作系统命令行下运行的，并不满足这种场景。

方法二：通过sql进行查询，再通过io写成文件。此方式不做评价...ps:各种工具的导入导出就算了，有兴趣的自行了解

方法三：导出==》SELECT语句 INTO OUTFILE 路径+目标文件 [option]
　　　　导入==》LOAD DATA LOCAL INFILE 路径+目标文件 INTO TABLE 表名 [option]

　　　　其中option参数常用的5个选项：
　　　　FIELDS TERMINATED BY ‘字符串‘：设置字符串为字段的分割符，默认值为 \\t；
　　　　FIELDS ENCLOSED BY ‘字符‘：设置字符串括上字段的值，默认值为 无任何符号；
　　　　FIELDS OPTIONALLY ENCLOSED BY ‘字符‘：设置字符串括上char varchar text等字符型字段，默认值为 无任何符号；
　　　　LINES STARTING BY ‘字符串‘：设置每一行开头的字符，默认值为 无任何字符；
　　　　FIELDS ESCAPED BY ‘字符‘：设置转义字符，默认值为 \\；
　　　　LINES TERMINATED BY ‘字符串‘：设置每行结束符，默认值为 \\n；

注意：1.导入的时候数据文件要和导入的表的结构相对应（字段长度、类型、列等等）

　　　2.导出的文件不是sql，不包含表结构，只是纯数据文件，且每一条数据占一行

　　　3.路径问题：有时候随便选择一个路径并不能导出数据文件，会报错
　　　　如：The mysql server is running with the --secure-file-priv option so it cannot execute this statement
解决方式：
　　a)先通过SHOW VARIABLES LIKE ‘%secure%‘ 查询出默认的路径，使用默认路径进行导出，执行结果如下图

　　b)修改 mysql 的 my.ini 配置文件中secure_file_priv来进行管理,
　　　　i.不允许MySQL进行导入导出
　　　　　　# Secure File Priv.
　　　　　　secure-file-priv = null
　　　　ii.只允许MySQL在指定的目录下进行导入导出操作
　　　　　　# Secure File Priv.
　　　　　　secure-file-priv = /目录/
　　　　iii.不对MySQL的导入导出进行限制（注释或删除secure-file-priv配置）
　　　　　　# Secure File Priv.
　　　　　　#secure-file-priv="C:/ProgramData/MySQL/MySQL Server 5.7/Uploads"

 最后附上eg:

SELECT * FROM pub_parameter INTO OUTFILE ‘C:\\\\ProgramData\\\\MySQL\\\\MySQL Server 5.7\\\\Uploads\\\\test8.sql‘ 

SELECT * FROM pub_parameter INTO OUTFILE ‘C:\\\\ProgramData\\\\MySQL\\\\MySQL Server 5.7\\\\Uploads\\\\test5.sql‘ FIELDS TERMINATED BY ‘|‘