Mysql超百万数据的导入导出

Posted 菠萝丿饭

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Mysql超百万数据的导入导出相关的知识,希望对你有一定的参考价值。

题记:

因业务需要,需将一些用户记录进行汇总并上传到指定平台。需要先将指定时间的所有用户记录进行汇总。涉及到了大数据量的数据导入导出。

使用 iINTO OUTFILE 和 LOAD DATA LOCAL INFILE 实现了改功能,记录一下

步骤:

  • 1 将源数据导出(select * from test_table ORDER BY createtime into outfile ‘E: emp est.txt‘;)
  • 2 将源数据筛选后导入(LOAD DATA LOCAL INFILE ‘E: emp est.txt‘ INTO TABLE test_table_sort (@c1,c2,c3,...,c14,c15);)

注意:

  • 1 需要先开启文本导出权限
    • 1 show global variables like ‘%secure%‘; //查询设置
    • 2 将 secure_file_priv 值赋值为 ""
  • 2 导入数据报错 (The used command is not allowed with this mysql version)原因除了是mysql版本过低外,最有可能是因为设置禁止远程导入文件,所以navicat执行导入报错。可以在本机上cmd连接mysql后再执行。解决!
  • 3 导入时可用 @变量名 指定某列值不导入;

以上是关于Mysql超百万数据的导入导出的主要内容,如果未能解决你的问题,请参考以下文章

两行代码险些搞垮 JavaScript 生态,受影响项目超百万

基于EasyExcel实现百万级数据导入导出

怎样把access里面的上百万的数据导出到excel里面来?我现在是2010office。

mysql数据库百万级以上数据,如何对其进行边查询变更新?

全球超 900 家 App 开发商收入超百万美元,几家欢喜几家愁?

超百万美金激励,Apps UP 2022 华为全球应用创新赛道强势来袭