通过 Join-Where-Group 通过选择查询避免使用临时的正确索引;使用文件排序
Posted
技术标签:
【中文标题】通过 Join-Where-Group 通过选择查询避免使用临时的正确索引;使用文件排序【英文标题】:Correct indexing by Join-Where-Group By select queries avoiding Using temporary; Using filesort 【发布时间】:2013-01-05 16:08:00 【问题描述】:我已经搜索了很多关于下面描述的案例的解决方案,但不幸的是我没有找到类似的案例。
我有以下情况: (作为新用户,网站拒绝了我的图片,但我可以通过邮件发送。下面是它的文字表示)
Table 1 "swap_plan" Table 2 "cell"
ClusterName | SiteID SiteID | Cell | Time | Counter
----------------------- ---------------------------------------------
Cluster A | SiteID A1 SiteID A1 | Cell A1-1 | day1 | 5
Cluster A | SiteID A2 SiteID A1 | Cell A1-1 | day2 | 3
Cluster A | SiteID A3 SiteID A1 | Cell A1-1 | day3 | 6
Cluster A | SiteID A4 SiteID A1 | Cell A1-2 | day1 | 6
Cluster A | SiteID A5 SiteID A1 | Cell A1-2 | day2 | 2
Cluster A | SiteID A6 SiteID A1 | Cell A1-2 | day3 | 9
....................... ..............................................
Cluster B | ......... ..............................................
(Where No 1) (ON Clause "SiteID") (Where No 2) Sum(Counter)
我必须显示一些性能指标(表 2“单元格”中的“计数器”),随时间汇总(表 2“单元格”中的“时间”)和集群(表 1“swap_plan”中的“集群名称”)。
连接是通过两个表“SiteID”的公共列完成的。请注意,在表 2“单元”中,每个 SiteID 由 3 个不同的对象(“单元”)组成。所以,实际上我为每个单元格做“计数器”的 SUM()。
查询如下:
SELECT ClusterName,Time,SUM(counter)
FROM cell
INNER JOIN swap_plan ON swap_plan.Siteid = cell.Siteid
WHERE ClusterName='Cluster A' AND Time>=day1 AND Time<=day2
GROUP BY Time
列类型如下:
表1“交换计划”:
-
集群名称 - CHAR(30)
站点 ID - VARCHAR(10)
表2“单元格”:
-
站点 ID - VARCHAR(10)
时间 - 日期时间
计数器 - INT
“解释”显示如下:
table type key key_len ref rows Extra
swap_plan ref Index 1 30 const 31 Using where; Using index; Using temporary; Using filesort
cell ref Index_siteid 13 swap_plan.SiteID 368 Using where
用到的索引如下:
swap_plan:索引 1(1.ClusterName 和 2.SiteID)
单元格:Index_siteid (SiteID)
优化器查看的行数非常低,这很好:
swap_plan:6066 个中的 31 个和单元格:660 万个中的 368 个。
我的问题是这些“使用临时;使用文件排序”。据我了解,这来自 Group By 所需的排序(如果我删除它,这些过程不会根据解释执行)。我发现为了避免它们,您需要在分组依据的列上有一个索引。我有一个只包含“时间”列的特殊索引,但没有使用这个索引,即使有提示“使用索引 FOR GROUP BY ()”。
因此,我的查询运行速度不够快 - 大约需要 15 秒(例如 15 个 SiteID 和 10 个日期),我需要将此持续时间减少到至少一半。
我的主要问题是:
完全可以删除“使用临时;使用文件排序”或 减少执行所需的时间? (我试图增加 读取缓冲区大小为 16MB,无影响) 在 JOIN 情况下我需要什么样的索引定义,当在 WHERE 子句中我按不同表中的 2 列过滤时,在 ON 子句中我按第 3 列过滤时 我可以应用哪种 Group By 优化(索引等)?非常感谢您!
【问题讨论】:
【参考方案1】:我会这样写查询:
SELECT c.time
, SUM(c.counter)
, MAX(p.clustername) AS clustername
FROM cell c
JOIN swap_plan p
ON p.siteid = c.siteid
AND p.clustername = 'Cluster A'
WHERE c.time >= 'day1'
AND c.time <= 'day2'
GROUP
BY c.time
我一定会在cell
上有一个以time
作为前导列的索引。
mysql 可以使用相同的索引来满足范围谓词(在 WHERE 子句中),并且无需“使用文件排序”操作即可满足 GROUP BY。
... ON cell (time)
根据列的大小,覆盖索引可能会提供最佳性能。覆盖索引包括查询中引用的表中的所有列,因此可以完全从索引页面满足查询,而无需查找基础表中的页面。
... ON cell (time, siteid, counter)
对于swap_plan
上的索引,我将有一个以site_id
作为前导列的索引,并包括clustername
列,其中之一是:
... ON swap_plan (clustername, site_id)
或
... ON swap_plan (site_id, clustername)
看起来这两个列的组合可能会有一个 UNIQUE 约束,即site_id
的值对于给定的clustername
将是不同的。 (如果不是这种情况,并且相同的 (site_id,clustername)
元组多次出现,则 counter
的总数可能会被夸大。
我正在寻找 EXPLAIN
输出以显示从 c.siteid
的值和 clustername 的 const(文字“Cluster A”)值到 swap_plan
表的“ref”查找。
对于大小分别为 31 行和 368 行的表,我们不会看到最佳执行计划和糟糕的执行计划之间的性能(经过的时间)有显着差异。
当任何一个表扩展到数百万行时,差异就会变得明显。执行计划的优化器选择受每个表的统计信息(大小、行数、列基数)的影响,因此执行计划可能会随着表大小的增加而改变。
【讨论】:
以上是关于通过 Join-Where-Group 通过选择查询避免使用临时的正确索引;使用文件排序的主要内容,如果未能解决你的问题,请参考以下文章