mysql使用limit分页优化方案

Posted 2023-03-18

参考技术A 准备数据是20000000条数据

在分页场景下，使用limit start end，我们分别看下从10000， 100000， 1000000开始分页的执行时间（每页取10条），如下图

当start较小时，查询没有性能问题，但是如上图查询时间所示，随着start增大，查询消耗时间也在递增，在start=10000000时，分页竟然消耗了2秒多，这是不能忍受的。

由此引出对limit分页的优化,首先来explain该语句，看到查询没有使用到任何的索引，进行的是全表扫描，假如limit分页用到了索引是不是会快很多呢！

explain分析一下,第一行是select * from user_innodb形成的临时表使用的是全表扫描，第二行是 （SELECT id FROM user_innodb LIMIT 10000000, 10）形成的，使用的是eq_ref，第三行是全表扫描a和bjoin形成的派生表，使用到的是index，所以速度也会快很多

mysql使用limit分页优化

mysql分页直接用limit start（当前页）, count（当前显示多少条数据）分页语句：

select * from student limit 1,10

当起始页较小时，查询没有性能问题，但是数据比较多，起始页比较大的时候，性能就会出现问题：

select * from student limit 10, 20    耗时 0.016秒
select * from student limit 100, 20   耗时 0.016秒
select * from student limit 1000, 20  耗时 0.047秒
select * from student limit 10000, 20 耗时 0.094秒

我们已经看出随着起始记录的增加，时间也随着增大， 这说明分页语句limit跟起始页码是有很大关系的
优化
利用主键索引
利用mysql 主键索引的优势来进行查询，我们先查出具体的索引id

select id from student limit 10000, 20 

然后根据查出的id去取到具体的列数据：此种情况只适用与id为自主增长的情况

SELECT * FROM student 
WHERE id >=(select id from student limit 10000, 1) limit 20

如果id不是自动增长，那么我们也可以适用join

SELECT * FROM student a 
JOIN (select id from student limit 10000, 20) b ON a.ID = b.id

总结

• imit语句的查询时间与起始记录的位置成正比。
• mysql的limit语句是很方便，但是对记录很多的表并不适合直接使用。