使用“WHERE UNIX_TIMESTAMP(date)”的 SQL 查询的性能

Posted

技术标签:

【中文标题】使用“WHERE UNIX_TIMESTAMP(date)”的 SQL 查询的性能【英文标题】:Performance of SQL query with "WHERE UNIX_TIMESTAMP(date)" 【发布时间】:2012-07-19 16:47:53 【问题描述】:

我正在运行一个 mysql 服务器 (5.5),它有一个大表(上面有大约 1000 万条记录)。此表是某种日志,在 2 列上有一个主键:

id <- integer,
date <- datetime

连接到该数据库的应用程序正在发送一个查询,内容如下:

SELECT * FROM bigtable  
INNER JOIN other_table
ON ....
WHERE UNIX_TIMESTAMP(date) BETWEEN #somevalue# AND #somevalue2#;

我发现这个查询需要很长时间才能执行。我知道有些函数可以阻止 MySQL 使用索引,而是让它执行全表扫描。

问题: 在主键列上使用函数 UNIX_TIMESTAMP 是否会影响性能,如图所示,而不是 "... WHERE date BETWEEN '2012:01:01 00:00:00' AND '2012: 02:01 00:00:00' " ?

查询:

SELECT r.f_registro, r.latitud, r.longitud, r.velocidad, r.status, r.odometro, r.heading, r.sensor, a.nombre FROM registros r INNER JOIN activos a ON a.id_tracker = r.id_tracker WHERE a.id_activo = 2366 AND r.satelites > '3' AND UNIX_TIMESTAMP(r.f_registro) BETWEEN 1342159200 AND 1342760400 ORDER BY r.f_registro

执行需要几秒甚至几分钟! 运行解释返回:

id,select_type,table,type,possible_keys,key,key_len,ref,rows,Extra
1,SIMPLE,a,const,PRIMARY,PRIMARY,4,const,1,"Using filesort"
1,SIMPLE,r,range,"id_tracker,satelites",satelites,4,NULL,1,"Using index condition; Using where"

【问题讨论】:

EXPLAIN SELECT ... 说什么?还有你为什么不尝试? mysql 命令行客户端显示查询的挂钟执行时间,因此应该很容易计算出来。 我刚刚编辑了问题以表明这一点。它似乎没有使用作为 PK 一部分的“日期” date 是如何出现在您的主键中的?作为一般规则,Using filesort 的意思是“需要很长时间。” 这个表有双列作为PK。这是因为表是按日期分区的(在表定义上使用 PARTITION BY KEY(date) ),并且根据 MySQL 文档,必须在属于 PK 的列上执行分区 您可能想发布完整的SHOW CREATE TABLE,因为分区是影响性能的一个非常重要的因素。 【参考方案1】:

您是正确的,在日期列上使用函数会阻止 MySQL 使用该列上的索引。

相反,将范围计算为两个日期常量并使用 BETWEEN。

另外,请注意,您并未指出日期列上有索引。索引的前缀最多,因此以 id 开头的复合索引不能用于只要求日期的查询。

查询的 ON 部分(您已排除)可能对查询的性能同样重要,您应该评估它是否也能够使用索引。

【讨论】:

好的,正是我想知道的。谢谢【参考方案2】:

如果您的日期范围必须是 UNIX 时间,您可以更改:

UNIX_TIMESTAMP(r.f_registro) BETWEEN 1342159200 AND 1342760400

到:

r.f_registro BETWEEN FROM_UNIXTIME(1342159200) AND FROM_UNIXTIME(1342760400)

这将大大加快查询速度。在我的例子中(有 3.8 亿行和索引日期的列),这表示从几小时到几毫秒的变化。

【讨论】:

如此简单,如此史诗。谢谢一千!

以上是关于使用“WHERE UNIX_TIMESTAMP(date)”的 SQL 查询的性能的主要内容,如果未能解决你的问题,请参考以下文章

在使用加载数据流步骤的猪中,使用(使用 PigStorage)和不使用它有啥区别?

今目标使用教程 今目标任务使用篇

Qt静态编译时使用OpenSSL有三种方式(不使用,动态使用,静态使用,默认是动态使用)

MySQL db 在按日期排序时使用“使用位置;使用临时;使用文件排序”

使用“使用严格”作为“使用强”的备份

Kettle java脚本组件的使用说明(简单使用升级使用)