如何快速将大型 CSV 文件导入数据库

Posted

技术标签:

【中文标题】如何快速将大型 CSV 文件导入数据库【英文标题】:How to quickly import a large CSV file into database 【发布时间】:2016-04-29 17:54:37 【问题描述】:

我有一个 300MB 的 CSV 文件,我需要将它导入到我的本地主机数据库。我在 php.ini 中更改了 upload_max_filesize 和 post_max_size。

问题是完成导入需要很长时间。

我想知道如何才能更快地做到这一点。应该不会花这么长时间。

【问题讨论】:

【参考方案1】:

将其上传到服务器并使用命令行。这将减少由于将 php、Web 服务器、Web 客户端和与您的 Internet 连接置于实际导入之上而造成的任何低效率。

Importing a csv into mysql via command line

【讨论】:

或者,您可以将文件(通过 SFTP、SCP 等)上传到您的网络服务器上的特定文件夹,并使用 phpMyAdmin“UploadDir”指令指向该文件。但我确实同意命令行是可用的最佳解决方案。详情见docs.phpmyadmin.net/en/latest/config.html#cfg_UploadDir

以上是关于如何快速将大型 CSV 文件导入数据库的主要内容,如果未能解决你的问题,请参考以下文章

使用 Powershell 将大型 CSV 批量导入 SQL Server

macmatlab导入大型csv

如何将包含 200,00 行的巨大 CSV 文件导入 MySQL(异步且快速)?

快速将CSV文件导入Excel文件

markdown 如何将大型CSV文件导入我们的存储?

需要通过 PHP 将大型 CSV 文件导入多个 MySQL 表的高效方法