Mysql—Mysql磁盘空洞的成因以及重建表的几种方式

Posted 2021-08-13 刘Java

详细介绍了mysql删除数据但是磁盘占用并没有减少的原因——磁盘空洞，以及磁盘空洞的解决方法和几种重建表的方式的区别。

我正在参与CSDN《新程序员》有奖征文，活动地址：https://marketing.csdn.net/p/52c37904f6e1b69dc392234fff425442。

有时候我们直接物理删除变种的某些数据，以期望减少磁盘的占用，但是我们会发现即使物理删除了部分数据，但是Mysql的磁盘占用并没有减少，现在我们来看看造成这一现象的原因以及解决方法。

文章目录

• 1 磁盘空洞的形成
• 2 重建表
• • 2.1 Online DDL
  • 2.2 inplace DDL
• 3 总结

1 磁盘空洞的形成

Mysql使用InnoDB作为存储引擎时，InnoDB里的数据都是用B+树的结构组织的：

假设我们要删除ID=11的这一个记录，InnoDB引擎只会把这个记录标记为删除。如果之后要再插入一个ID在10和12之间的记录时，会复用这个位置。但是，磁盘文件的大小并不会缩小。

InnoDB的数据是按页存储的，那么如果我们删掉了一个数据页上的所有记录，会怎么样？答案是，整个数据页就可以被复用了。但是，数据页的复用跟记录的复用是不同的。

记录的复用，只限于符合范围条件的数据。比如上面的这个例子，ID=11这条记录被删除后，如果插入一个ID是11的行，可以直接复用这个空间。但如果插入的是一个ID是13的行，就不能复用这个位置了。

当整个页从B+树里面摘掉以后，可以复用到任何位置，可以存储任何新增的数据。如果相邻的两个数据页利用率都很小，系统就会把这两个页上的数据合到其中一个页上，另外一个数据页就被标记为可复用。

如果我们用delete命令把整个表的数据删除呢？结果就是，所有的数据页都会被标记为可复用。但是磁盘上，文件不会变小。

实际上，delete命令其实只是把记录的位置，或者数据页标记为了“可复用”，但磁盘文件的大小是不会变的。也就是说，通过delete命令是不能回收表空间的。这些可以复用，而没有被使用的空间，看起来就像是“空洞”。

另外，插入、更新数据时，由于页分裂、数据移动，也有可能造成磁盘“空洞”。

经过大量增删改的表，都是可能是存在空洞的。所以，如果能够把这些空洞去掉，就能达到收缩表空间的目的。而重建表，就可以达到这样的目的。

2 重建表

为了把磁盘空洞去掉，我们可以重建表，新建一个与表A结构相同的表B，然后按照主键ID递增的顺序，把数据一行一行地从表A里读出来再插入到表B中。由于表B是新建的表，所以表A主键索引上的空洞，在表B中就都不存在了。显然地，表B的主键索引更紧凑，数据页的利用率也更高。如果我们把表B作为临时表，数据从表A导入表B的操作完成后，用表B替换A，从效果上看，就起到了收缩表A空间的作用。

也可以直接使用 alter table A engine=InnoDB命令来重建表。在MySQL 5.5版本之前，这个命令的执行流程跟我们前面描述的差不多，区别只是这个临时表B不需要你自己创建，MySQL会自动完成转存数据、交换表名、删除旧表的操作。

上图中，花时间最多的步骤是往临时表插入数据的过程，如果在这个过程中，有新的数据要写入到表A的话，就会造成数据丢失。因此，在整个DDL过程中，表A中不能有更新。也就是说，这个DDL不是Online的。

2.1 Online DDL

在MySQL 5.6版本开始引入的Online DDL，对这个操作流程做了优化：

1. 建立一个临时文件，扫描表A主键的所有数据页；
2. 用数据页中表A的记录生成B+树，存储到临时文件中；
3. 生成临时文件的过程中，将所有对A的操作记录在一个日志文件（row log）中，对应的是图中state2的状态；
4. 临时文件生成后，将日志文件中的操作应用到临时文件，得到一个逻辑数据上与表A相同的数据文件，对应的就是图中state3的状态；
5. 用临时文件替换表A的数据文件。

可以看到，与第一张图的不同之处在于，由于日志文件记录和重放操作这个功能的存在，这个方案在重建表的过程中，允许对表A做增删改操作。这也就是Online DDL名字的来源。

该过程中，alter语句在启动的时候需要获取MDL写锁，但是这个写锁在真正拷贝数据之前就退化成读锁了。为什么要退化呢？为了实现Online，MDL读锁不会阻塞增删改操作，为什么不干脆解锁呢？为了保护自己，禁止其他线程对这个表同时做DDL。

2.2 inplace DDL

与Online DDL容易混淆的就是另一个Mysql中的概念：inplace DDL，inplace——顾名思义，它修改表的时候不会创建原始表的临时表。

第一张图中，表A中的数据导出来的存放位置叫作tmp_table。这是一个临时表，是在server层创建的，并且inplace的。第二张图中，根据表A重建出来的数据是放在“tmp_file”里的，这个临时文件是InnoDB在内部创建出来的。整个DDL过程都在InnoDB内部完成。对于server层来说，没有把数据挪动到临时表，也算是一个inplace（原地）操作。

alter table t engine=InnoDB，其实隐含的意思是：alter table t engine=innodb,ALGORITHM=inplace，也就是说它本身就是inplace的。跟inplace对应的就是拷贝表的方式了，用法是：alter table t engine=innodb,ALGORITHM=copy，也就是第一张图的流程，copy方式下ALTER TABLE操作可以防止并发的DML操作，仍然允许并发查询。

Online和inplace的区别如下：

1. DDL过程如果是Online的，就一定是inplace的；
2. 反过来未必，也就是说inplace的DDL，有可能不是Online的。截止到MySQL 8.0，添加全文索引（FULLTEXT index）和空间索引(SPATIAL index)就属于这种情况，该过程是inplace的，但会阻塞增删改操作，是非Online的。

3 总结

几种方式重建表的区别：

1. alter table t engine = InnoDB，也被称为recreate，从MySQL 5.6版本开始默认的就是上面第二张图的流程了；
2. analyze table t 其实不是重建表，只是对t表的索引分布信息做重新统计，不影响t表的占用空间，没有修改数据，这个过程中加了MDL读锁，并且会记录binlog；
3. optimize table t 等于recreate+analyze。
4. Truncate table t命令则可以理解为drop+create。

参考资料：

1. 《 MySQL 技术内幕: InnoDB 存储引擎》
2. 《高性能 MySQL》
3. 《MySQL实战45讲 | 极客时间 | 丁奇》

如有需要交流，或者文章有误，请直接留言。另外希望点赞、收藏、关注，我将不间断更新各种Java学习博客！