提高查询的性能以删除重复项

Posted 2023-04-14

技术标签:

【中文标题】提高查询的性能以删除重复项【英文标题】：Improve performance for query to delete duplicates 【发布时间】：2013-04-01 16:47:34 【问题描述】：

我的托管公司最近从慢查询日志中给了我这个条目。检查的行似乎过多，可能有助于降低服务器的速度。 phpMyAdmin 中的测试导致持续时间为 0.9468 秒。

Check_in 表通常包含 10,000 到 17,000 行。它还有一个索引：Num, unique = yes, cardinality = 10852, collation = A.

我想改进这个查询。 WHERE 后面的前五个条件包含要检查以排除重复项的字段。

# User@Host: fxxxxx_member[fxxxxx_member] @ localhost []
# Query_time: 5  Lock_time: 0  Rows_sent: 0  Rows_examined: 701321
use fxxxxx_flifo;
SET timestamp=1364277847;
DELETE FROM Check_in USING Check_in, 
Check_in as vtable WHERE 
    ( Check_in.empNum = vtable.empNum ) 
AND ( Check_in.depCity = vtable.depCity ) 
AND ( Check_in.travelerName = vtable.travelerName ) 
AND ( Check_in.depTime = vtable.depTime ) 
AND ( Check_in.fltNum = vtable.fltNum ) 
AND ( Check_in.Num > vtable.Num ) 
AND ( Check_in.accomp = 'NO' ) 
AND Check_in.depTime >= TIMESTAMPADD ( MINUTE, 3, NOW() )
AND Check_in.depTime < TIMESTAMPADD ( HOUR, 26, NOW() );

编辑：

empNum int (6) 姓氏 varchar (30) travelerName varchar (40) (99.9% = 'All') depTime 日期时间 fltNum varchar (6) depCity varchar (4) 总共 23 个字段（包括一个 blob，包含 25K 图像）

编辑：

ADD INDEX deleteQuery (empNum, lastName, travelerName, depTime, fltNum, depCity, Num)

这是创建索引的问题吗？如果有，是什么类型，什么字段？

最后 3 个条件通过询问是否完成以及在时间段内来限制行数。他们能否在查询中（更早）更好地定位？第5个AND ...有必要吗？

接受所有想法。感谢观看。

【问题讨论】：

我建议您检查执行计划：explain select ...（而不是删除）。在那里你可以检查你可能需要索引的字段。 @Barranka 你能解释一下吗？我还不了解索引。你是建议explain select * from Check_in 还是explain Num, empNum, depCity ...？ 【参考方案1】：

如果不查看表定义，很难确切知道如何提供帮助。

不要删除自联接（两次提到的同一个表），因为此查询正在清除重复项 (check_in.Num > vtable.Num)。

你有关于 depTime 的索引吗？如果没有，请添加一个。

您可能还想在

上添加复合索引

 (empNum,depCity,travelerName,depTime,fltNum)

优化自连接。您可能需要花点时间才能弄清楚什么是有效的。

【讨论】：

在5加Num上加上index后，查询确实提速了。例如，现在以 0.0228 运行。这可能是“简单”的把戏。我会被阅读 -> How mysql uses Indexes 'muck about' 听起来像是技术性很强的建议。 :) deptime,empNum,depCity,travelerName,fltNum 上的单个索引（NB deptime first）将执行 Ollie 提出的 2 个索引的功能，同时减少插入/更新/删除的开销。跨度> 顺便说一句：胡闹是优化系统的一种行之有效的做法。但是，当您付钱请人这样做时，他们会使用“增量路径优化”、“目标搜索”和“避免局部最小值”等术语来描述它【参考方案2】：

如果您的目标是删除重复项，则解决方案是首先避免出现重复项 - 在您认为共同定义重复项的字段中定义一个唯一索引（但您将无法创建索引，而您在数据库中有重复项）。

this 查询所需的索引为 (deptime,empnum,depcity,travellername,fltnum,num,accomp 按此顺序。deptime 字段必须首先让它优化表上的 2 个访问。删除重复项后，使索引唯一。

暂且不说，您会遇到一大堆性能问题。

1) 您似乎在提供某种商业服务 - 那么您为什么要等待您的 ISP 告诉您您的网站正在像狗一样运行？

2) 虽然您的索引应设计为防止重复，但在许多情况下其他索引将有助于提高性能 - 但为了了解这些索引是什么，您需要查看针对您的数据运行的所有查询。

3) blob 可能应该在单独的表中