使用“WHERE UNIX_TIMESTAMP(date)”的 SQL 查询的性能
Posted
技术标签:
【中文标题】使用“WHERE UNIX_TIMESTAMP(date)”的 SQL 查询的性能【英文标题】:Performance of SQL query with "WHERE UNIX_TIMESTAMP(date)" 【发布时间】:2012-07-19 16:47:53 【问题描述】:我正在运行一个 mysql 服务器 (5.5),它有一个大表(上面有大约 1000 万条记录)。此表是某种日志,在 2 列上有一个主键:
id <- integer,
date <- datetime
连接到该数据库的应用程序正在发送一个查询,内容如下:
SELECT * FROM bigtable
INNER JOIN other_table
ON ....
WHERE UNIX_TIMESTAMP(date) BETWEEN #somevalue# AND #somevalue2#;
我发现这个查询需要很长时间才能执行。我知道有些函数可以阻止 MySQL 使用索引,而是让它执行全表扫描。
问题: 在主键列上使用函数 UNIX_TIMESTAMP 是否会影响性能,如图所示,而不是 "... WHERE date BETWEEN '2012:01:01 00:00:00' AND '2012: 02:01 00:00:00' " ?
查询:
SELECT r.f_registro, r.latitud, r.longitud, r.velocidad, r.status, r.odometro, r.heading, r.sensor, a.nombre FROM registros r INNER JOIN activos a ON a.id_tracker = r.id_tracker WHERE a.id_activo = 2366 AND r.satelites > '3' AND UNIX_TIMESTAMP(r.f_registro) BETWEEN 1342159200 AND 1342760400 ORDER BY r.f_registro
执行需要几秒甚至几分钟! 运行解释返回:
id,select_type,table,type,possible_keys,key,key_len,ref,rows,Extra
1,SIMPLE,a,const,PRIMARY,PRIMARY,4,const,1,"Using filesort"
1,SIMPLE,r,range,"id_tracker,satelites",satelites,4,NULL,1,"Using index condition; Using where"
【问题讨论】:
EXPLAIN SELECT ...
说什么?还有你为什么不尝试? mysql
命令行客户端显示查询的挂钟执行时间,因此应该很容易计算出来。
我刚刚编辑了问题以表明这一点。它似乎没有使用作为 PK 一部分的“日期”
date
是如何出现在您的主键中的?作为一般规则,Using filesort
的意思是“需要很长时间。”
这个表有双列作为PK。这是因为表是按日期分区的(在表定义上使用 PARTITION BY KEY(date) ),并且根据 MySQL 文档,必须在属于 PK 的列上执行分区
您可能想发布完整的SHOW CREATE TABLE
,因为分区是影响性能的一个非常重要的因素。
【参考方案1】:
您是正确的,在日期列上使用函数会阻止 MySQL 使用该列上的索引。
相反,将范围计算为两个日期常量并使用 BETWEEN。
另外,请注意,您并未指出日期列上有索引。索引的前缀最多,因此以 id 开头的复合索引不能用于只要求日期的查询。
查询的 ON 部分(您已排除)可能对查询的性能同样重要,您应该评估它是否也能够使用索引。
【讨论】:
好的,正是我想知道的。谢谢【参考方案2】:如果您的日期范围必须是 UNIX 时间,您可以更改:
UNIX_TIMESTAMP(r.f_registro) BETWEEN 1342159200 AND 1342760400
到:
r.f_registro BETWEEN FROM_UNIXTIME(1342159200) AND FROM_UNIXTIME(1342760400)
这将大大加快查询速度。在我的例子中(有 3.8 亿行和索引日期的列),这表示从几小时到几毫秒的变化。
【讨论】:
如此简单,如此史诗。谢谢一千!以上是关于使用“WHERE UNIX_TIMESTAMP(date)”的 SQL 查询的性能的主要内容,如果未能解决你的问题,请参考以下文章
在使用加载数据流步骤的猪中,使用(使用 PigStorage)和不使用它有啥区别?
Qt静态编译时使用OpenSSL有三种方式(不使用,动态使用,静态使用,默认是动态使用)