mysql导入百万级数据方案总结

Posted zijieee

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了mysql导入百万级数据方案总结相关的知识,希望对你有一定的参考价值。

业务数据来自公司总部,后台数据设置是按天导出csv,但分析业务需要看整个时间趋势,excel已经不行了,只能上mysql,用sql语句查询。其实本来load data local infile 可以搞定,麻烦的是表头字段太多,而且可能会变化,不是很想每次都写脚本先创建表结构再导数据。有什么办法可以自动处理表头?

一、 使用nevicat 或者workbench

有导入数据的选项,可以帮助自动检测数据类型,生成表头。
经测试,使用图形界面导入数据,速度极慢,这个方案不行。

二、 写命令行交互提示的脚本

Python 脚本读csv 头文件,然后根据字段名称和第一行数据,生成sql语句,然后连mysql。 总之就是用Python做个自动化。这个方案可以,需要写代码。

三、综合法

只读表前三个数据,另存文件,然后workbench 导入,生成表数据,然后在load local data infile.


以上是关于mysql导入百万级数据方案总结的主要内容,如果未能解决你的问题,请参考以下文章

基于EasyExcel实现百万级数据导入导出

百万级数据校验怎么校验?我有一个百万的用户表,现在用excel导入用户100个,怎样校验用户名不重复?

数据库SQL优化大总结1之- 百万级数据库优化方案

百万级数据库优化方案数据库SQL优化大总结

数据库SQL优化大总结之 百万级数据库优化方案

数据库SQL优化大总结之 百万级数据库优化方案