给MySQL数据库表瘦身

Posted 2021-04-29 那只是一股逆流

• 背景：mysql数据库有一张几千万的数据表要做瘦身，需要删除指定日期前的数据。其中自增主键id和创建时间create_time都有索引。

• 解法：  

• 解法1：delete from xxx where id < xxx 或者 create_time < xxx。这种方式简单粗暴，进行删除操作时会锁表，从而影响其他的正常SQL，大数据量时不可行；

• 解法2：从解法1得到启示，既然SQL一次性删除大批量数据会导致锁表时间长，那我每次都删除小批量的数据，进行多次删除就行。而id又是自增的可以保证连续性。实际测试中2kw+的表，每次删除10w条记录耗时30+s；每次删除1w记录耗时2s，完全可以接受；

• 解法3：新建一张表把需要的数据导过去，然后把旧表直接删除。这种方法在新旧表切换过程中很难保证数据数据一致性，适用于离线数据或者更新、插入比较低频的场景。

• 其他：解法2也有弊端，当插入速度大于删除速度时，就达不到瘦身的目的了。当然如果插入速度大于5w/s时，最开始选择MySQL作为底层存储数据库就不是太明智的选择。