Mysql数据库系列Mysql将CSV格式文件内数据导入数据库，奇思妙想，出奇制胜

Posted 2022-08-02 善良勤劳勇敢而又聪明的老杨

热门系列：

• 【数据库SQL系列】sql优化，你学废了吗

• 【数据库SQL系列】sql语句执行顺序，你理解了吗

• 【数据库索引Index系列】数据库索引，这一篇就够了

•   程序人生，精彩抢先看

---

目录

1、前言

2、正题

2.1 使用命令将CSV文件导入数据库

2.2 遇到的问题

2.2.1 问题一：乱码

2.2.2 问题二：导入时因数据特殊值原因报错

2.3 换个姿势导入数据库

3、总结

---

1、前言

前段时间，因需求需要，从外部得到一份CSV格式的股票信息文件，需要导入到内部数据库。在定义好格式和数据表之后，便开整了。

一开始心想，通过数据库可视化界面（我用的是dbeaver，挺好用，推荐大家试试），一键梭哈，完事~~~！但是，转念一想，上线时候咋整，还不是得命令操作！所以，还是老实用命令处理吧！

---

2、正题

2.1 使用命令将CSV文件导入数据库

这里你说明一点，数据库表和导入文件的字段，需要对应上，否则导入数据可能会错乱！！！

以下是导入命令：

LOAD DATA INFILE 'D:\\Java\\\\WorkFile\\\\prodFile\\\\source.csv' INTO TABLE table_name
CHARACTER SET utf8 
fields terminated by "," enclosed by ""
LINES TERMINATED BY '\\r\\n'
IGNORE 1 LINES
(column1,column2,column3,column4,column5);

命令注释：

• table_name：是被导入的数据库表名
• column：字段名
• CHARACTER SET utf8： 是设置导入的数据字符按utf8格式（否则可能出现乱码）
• FIELDS TERMINATED BY ','：指定字段分隔符
• OPTIONALLY ENCLOSED BY '"'：认为双引号中的是一个独立的字段。Excel 转 CSV 时，有特殊字符（逗号、顿号等）的字段，会自动用双引号引起来
• LINES TERMINATED BY '\\n'：指定行分隔符，注意，在 Windows 平台上创建的文件，分隔符是 '\\r\\n'

顺带说下连接数据库的命令吧，如下：

我是win10环境，先进入自己本地mysql的安装路径下，进入bin目录，在地址栏输入cmd，打开命令终端，如下：

然后输入一下命令：

mysql -h ip地址 -u mysql账号名 -p 

然后输入密码，即可登录连接上自己的数据库了~~~~！如此选择指定数据库后，就可以输入上述命令进行导入了~~

不出意外的话，就可以顺利导入啦。。。

 

2.2 遇到的问题

2.2.1 问题一：乱码

但是，天将降大任于斯人也，必先劳其筋骨，饿其体肤。。。。。所以，我导入失败了~~~ 乱码了，我丢！！！！

尝试了很多办法，不得其解。后来没办法，我想换一种方式解决~

就是用自己本地的数据库，使用dbeaver界面导入功能先把数据导入，然后再导出sql脚本。。后续上线或是其他环境的数据库，直接使用sql脚本，就应该没问题了。。。

2.2.2 问题二：导入时因数据特殊值原因报错

现在使用dbeaver导入功能导入：

然鹅，，，另一个问题出现了。。TMD导入时，因为不明数据，导致导入报错。并且通过CSV文件，我筛查了很久·，去掉了所有标点符号，奇异字符。也是不行~~~

看了dbeaver的报错日志：但是显示的列是按十六进制显示的，并且显示不全。。。就很蛋疼~~~~

 

2.3 换个姿势导入数据库

没办法，终极大招 ~~~，上才艺！

后来痛定思痛，我们的目标是将数据导入进去，什么方式，不重要！所以，我们不能局限在传统的导入方式上，换个姿势，我们是否可以把CSV内的数据，手动格式化成SQL脚本呢。这样不就可以导入了吗？

于是，抠出CSV内的数据，放在文本中，使用CTRL+H，然后使用替换大法，哈哈，这样sql脚本就成啦~~

剩下导入的过程，我就不再赘述啦。。。大功告成！！！

---

3、总结

我觉得开发过程中，想法很重要！！！别人都说程序员，思想容易固化，所以：

1、解决问题的过程中，多想几种解决方式，不要执着于一种方式

2、思考问题的时候，尽量全局性去想，不要顾头不顾尾

最后，有感兴趣的朋友，欢迎在下方留言讨论，点赞关注哈~~~~~