MySQL查询优化从大表中获取8-10条记录

Posted 2023-04-15

【中文标题】MySQL查询优化从大表中获取8-10条记录

【英文标题】：MySQL query optimization to get 8-10 records from a large table

【发布时间】：2016-12-14 17:03:50

【问题描述】：

我们有一个小型移动应用程序，可以不断向团队发送在现场工作的位置。我们有基于网络的管理面板来查看每个团队在该领域的最后位置，有 8-10 个团队。

现在，保存位置的表变得越来越大（大约 80 万条记录），从数据库获取信息大约需要 10 秒。

我们不能简单地删除旧记录，因为我们希望保留团队访问不同位置的历史记录。

在视图中，我们在管理面板中使用以下 SQL 查询

SELECT w.ID, w.DaynTime, team_Desc, co_Nome, w.team_Lat, w.team_Long
FROM ( SELECT MAX(ID) AS maxID FROM VlocationTab GROUP BY UserID) AS aux
INNER JOIN VlocationTab AS w ON w.ID = aux.maxID;

这里是创建语句

CREATE TABLE `TableName` (
 `ID` int(11) NOT NULL AUTO_INCREMENT,
 `UserID` varchar(15) NOT NULL,
 `Lat` double(8,6) NOT NULL,
 `Long` double(8,6) NOT NULL,
 `DayTime` datetime NOT NULL,
 `User` varchar(15) DEFAULT NULL,
 `Date` datetime DEFAULT NULL,
`AUser` varchar(15) DEFAULT NULL,
`ADate` datetime DEFAULT NULL,
 PRIMARY KEY (`ID`),
KEY `DataTime` (`DayTime`),
KEY `Coordenates` (`Lat`,`Long`)
) ENGINE=MyISAM AUTO_INCREMENT=1040384 DEFAULT CHARSET=utf8;

请问有没有办法优化这个查询以最小化执行时间？

【问题讨论】：

你有索引吗？您是否尝试在 mysql 查询上运行 EXPLAIN ？不知道为什么这个问题用 php 标记。

见meta.***.com/questions/333952/…。此外，根据上述评论，有关查询性能的问题始终需要针对所有相关表以及 EXPLAIN 的 CREATE TABLE 语句。

@Maximus2012 我们有三个索引，一个在主键上，另一个在日期和时间上，第三个在纬度和经度上。试过解释，但不太明白。

（也就是说，我怀疑这里没有太大的优化空间）:-(

精明的分区可以提高查询性能，但必须做得恰到好处。不幸的是，这超出了我的薪酬等级。

【参考方案1】：

我用 1000000 行（1000 个用户和每个用户 1000 行）填充一个测试表

这是最初的计划：

mysql> explain SELECT w.ID, w.DayTime, User, Lat, `Long` FROM ( SELECT MAX(ID) AS maxID FROM TableName GROUP BY UserID) AS aux INNER JOIN TableName AS w ON w.ID = aux.maxID;
+----+-------------+------------+------------+--------+---------------+---------+---------+-----------+---------+----------+---------------------------------+
| id | select_type | table      | partitions | type   | possible_keys | key     | key_len | ref       | rows    | filtered | Extra                           |
+----+-------------+------------+------------+--------+---------------+---------+---------+-----------+---------+----------+---------------------------------+
|  1 | PRIMARY     | <derived2> | NULL       | ALL    | NULL          | NULL    | NULL    | NULL      | 1000000 |   100.00 | Using where                     |
|  1 | PRIMARY     | w          | NULL       | eq_ref | PRIMARY       | PRIMARY | 4       | aux.maxID |       1 |   100.00 | NULL                            |
|  2 | DERIVED     | TableName  | NULL       | ALL    | NULL          | NULL    | NULL    | NULL      | 1000000 |   100.00 | Using temporary; Using filesort |
+----+-------------+------------+------------+--------+---------------+---------+---------+-----------+---------+----------+---------------------------------+
3 rows in set, 1 warning (0.00 sec)

mysql> SELECT count(*) FROM ( SELECT MAX(ID) AS maxID FROM TableName GROUP BY UserID) AS aux INNER JOIN TableName AS w ON w.ID = aux.maxID;
+----------+
| count(*) |
+----------+
|     1000 |
+----------+
1 row in set (1.07 sec)

你的子查询

SELECT MAX(ID) AS maxID FROM TableName GROUP BY UserID 不能使用任何索引，所以你做一个完整的扫描来搜索每个用户的 max(id)，然后用主键加入。

我添加了一个包含两列用户和 ID 的索引。由于索引是有序的，它允许直接获取每个用户的 max(id) ：

mysql> alter table TableName add index UserID_ID(UserID,ID);
Query OK, 1000000 rows affected (10.60 sec)
Records: 1000000  Duplicates: 0  Warnings: 0

新的计划和时间：

mysql> explain SELECT w.ID, w.DayTime, User, Lat, `Long` FROM ( SELECT MAX(ID) AS maxID FROM TableName GROUP BY UserID) AS aux INNER JOIN TableName AS w ON w.ID = aux.maxID;
+----+-------------+------------+------------+--------+---------------+-----------+---------+-----------+------+----------+--------------------------+
| id | select_type | table      | partitions | type   | possible_keys | key       | key_len | ref       | rows | filtered | Extra                    |
+----+-------------+------------+------------+--------+---------------+-----------+---------+-----------+------+----------+--------------------------+
|  1 | PRIMARY     | <derived2> | NULL       | ALL    | NULL          | NULL      | NULL    | NULL      | 1001 |   100.00 | Using where              |
|  1 | PRIMARY     | w          | NULL       | eq_ref | PRIMARY       | PRIMARY   | 4       | aux.maxID |    1 |   100.00 | NULL                     |
|  2 | DERIVED     | TableName  | NULL       | range  | UserID_ID     | UserID_ID | 47      | NULL      | 1001 |   100.00 | Using index for group-by |
+----+-------------+------------+------------+--------+---------------+-----------+---------+-----------+------+----------+--------------------------+
3 rows in set, 1 warning (0.00 sec)

mysql> SELECT count(*) FROM ( SELECT MAX(ID) AS maxID FROM TableName GROUP BY UserID) AS aux INNER JOIN TableName AS w ON w.ID = aux.maxID;
+----------+
| count(*) |
+----------+
|     1000 |
+----------+
1 row in set (0.04 sec)

PS：但最好的方法是重写您的请求以首先过滤日期，例如小于一天的行。

【讨论】：

感谢您的努力，我在 UserID 和 ID 上添加了新索引。它没有帮助。然后我添加了一个过滤器，（where 子句），正如你所建议的，只显示最近 2 天的行/记录，它将执行时间减少到 8 秒。我们还能做什么？

@qammarferoz - 添加该索引后请告诉我们EXPLAIN。