MySQL 向大表中添加列的性能

Posted 2023-02-16

【中文标题】MySQL 向大表中添加列的性能

【英文标题】：MySQL performance of adding a column to a large table

【发布时间】：2014-08-30 21:05:33

【问题描述】：

我在 Ubuntu 13.10 上使用 apt-get 在本地安装了带有 InnoDB 的 mysql 5.5.37。我的机器是 i7-3770 + 32Gb 内存 + SSD 硬盘在我的桌面上。对于仅包含 150 万条记录的表“mytable”，以下 DDL 查询需要 20 多分钟（！）：

ALTER TABLE mytable ADD some_column CHAR(1) NOT NULL DEFAULT 'N';

有什么方法可以改进吗？ 我检查了

show processlist;

它表明它出于某种原因正在复制我的表格。 这是令人不安的不方便。有没有办法关闭这个副本？ 是否有其他方法可以提高向大表中添加列的性能？

除此之外，我的数据库相对较小，只有 1.3Gb 转储大小。因此，它应该（理论上）100% 适合内存。

是否有可以提供帮助的设置？ 迁移到 Precona 会对我有什么改变吗？

添加：我有

innodb_buffer_pool_size = 134217728

【问题讨论】：

即使它适合内存，它也必须将所有内容写回磁盘以使其永久化。

optimize mySql for faster alter table add column 的可能重复项

他们在为我谈论 MyISAM vs InnoDB

【参考方案1】：

还有其他方法可以提高向大表中添加列的性能吗？

简短的回答：不。您可以立即添加 ENUM 和 SET 值，并且可以添加二级索引，同时锁定仅用于写入，但更改表结构始终需要表副本。

长答案：您真正的问题不是性能，而是锁定时间。它是否很慢并不重要，重要的是其他客户端在您的 ALTER TABLE 完成之前无法执行查询。在这种情况下有一些选择：

您可以使用来自 Percona 工具包的 pt-online-schema-change。首先备份您的数据！这是最简单的解决方案，但可能不适用于所有情况。

如果您不使用外键并且速度很慢，因为您有很多索引，您可能会更快地创建一个包含您需要的更改但没有二级索引的表副本，填充它使用数据，并在最后使用单个更改表创建所有索引。

1234563完成后。

更新

正如其他人提到的，MySQL 8.0 INNODB 添加了对即时列添加的支持。这不是一个神奇的解决方案，它有局限性和副作用——它只能是最后一列，表不能有全文索引等——但在很多情况下应该会有所帮助。

您可以指定显式的ALGORITHM=INSTANT LOCK=NONE 参数，如果无法立即更改架构，MySQL 将失败并出现错误，而不是回退到INPLACE 或COPY。示例：

ALTER TABLE mytable
ADD COLUMN mycolumn varchar(36) DEFAULT NULL,
ALGORITHM=INPLACE, LOCK=NONE;

https://mysqlserverteam.com/mysql-8-0-innodb-now-supports-instant-add-column/

【讨论】：

“您可以使用 Percona 工具包中的 [pt-online-schema-change][1]。首先备份您的数据！这是最简单的解决方案，但可能并非在所有情况下都有效。” -- 这是非常好的建议

【参考方案2】：

MariaDb 10.3、MySQL 8.0 和可能的其他 MySQL 变体具有“Instant ADD COLUMN”功能，可以立即添加大多数列（有一些限制，请参阅文档），而无需重建表。

MariaDb：https://mariadb.com/resources/blog/instant-add-column-innodb MySQL：https://mysqlserverteam.com/mysql-8-0-innodb-now-supports-instant-add-column/

【讨论】：

MySQL 8 supports 现在截至 2018 年 5 月 8 日

【参考方案3】：

我知道这是一个相当古老的问题，但今天我遇到了类似的问题。我决定创建一个新表并将旧表导入新表中。比如：

CREATE TABLE New_mytable  LIKE mytable ;

ALTER TABLE New_mytable  ADD some_column CHAR(1) NOT NULL DEFAULT 'N';

insert into New_mytable  select * from mytable ;

然后

START TRANSACTION;
insert into New_mytable  select * from mytable where id > (Select max(id) from New_mytable) ;

RENAME TABLE mytable TO Old_mytable;

RENAME TABLE New_mytable TO mytable;
COMMIT;

这不会使更新过程变得更快，但确实可以最大限度地减少停机时间。

希望这会有所帮助。

【讨论】：

非常感谢。但这是最好的方法吗？我正在尝试其他解决方案，但仍未找到。 :)

将列添加到大表并重建表的最快方法。而且几乎没有停机时间。如果您运行的是 MySQL 8.0 或更高版本，您可以尝试 ColinM 的解决方案。

使用此方法时要记住的是，在撰写此评论时，CREATE TABLE ... LIKE 语句不会创建表的精确副本。例如，外键配置不会复制到新表中。来自文档：dev.mysql.com/doc/refman/5.7/en/create-table-like.html

【参考方案4】：

在线 DDL 呢？

http://www.tocker.ca/2013/11/05/a-closer-look-at-online-ddl-in-mysql-5-6.html

也许你会改用 TokuDB：

http://www.tokutek.com/products/tokudb-for-mysql/

【讨论】：

很酷的功能，但我担心它会让alter table更慢

【参考方案5】：

由于结构发生变化，在添加或删除列时无法避免复制表。您可以在没有表副本的情况下添加或删除二级索引。

您的表数据不驻留在内存中。索引可以驻留在内存中。

150 万条记录并不是很多行，20 分钟似乎很长，但也许你的行很大，索引很多。

在复制表格时，您仍然可以从表格中选择行。但是，如果您尝试进行任何更新，它们将被阻止，直到 ALTER 完成。