mysql如何更快地插入数百万条记录？ [关闭]

Posted 2021-04-21

我想在我的数据库中插入大约数百万条记录，但它速度非常慢，速度大约为40,000条记录/小时，我不认为我的硬件速度太慢，因为我看到磁盘的速度低于2 MiB / s。我有很多表分隔在不同的.sql文件中。一条记录也非常简单，一条记录少于15列，一列少于30个字符。我使用mysql 5.3在archlinux下完成了这项工作。你们有什么想法吗？或者这个速度不慢？

答案

这很可能是因为你要插入这样的记录：

INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");

每次你需要INSERT发送一个新的查询是坏事。而是简单地将所有这些查询组合成一个单独的查询，就像这样。

INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2"),
                                                 ("data1", "data2"),
                                                 ("data1", "data2"),
                                                 ("data1", "data2"),
                                                 ("data1", "data2");

您还可以在qazxsw poi中阅读有关插入速度的更多信息。它清楚地描述了以下内容。

要优化插入速度，请将许多小型操作组合到一个大型操作中。理想情况下，您进行单个连接，一次发送许多新行的数据，并将所有索引更新和一致性检查延迟到最后。

如果金额巨大，当然不要将所有这些组合在一起。假设您需要插入1000行，然后不要一次执行一行。但是你可能不应该同时尝试在一个查询中拥有所有1000行。而是将其分解为更小的尺寸。

如果它仍然很慢，那可能只是因为你的服务器很慢。

请注意，您当然不需要在组合查询中使用所有这些空格，这只是为了更好地概述答案。