具有 JOIN 和 GROUP BY 优化的 MySQL 查询。是不是可以?

Posted

技术标签:

【中文标题】具有 JOIN 和 GROUP BY 优化的 MySQL 查询。是不是可以?【英文标题】:MySQL query with JOIN and GROUP BY optimization. Is it possible?具有 JOIN 和 GROUP BY 优化的 MySQL 查询。是否可以? 【发布时间】:2013-04-19 14:51:15 【问题描述】:

我有两个表:gpnxuser 和 key_value

mysql> describe gpnxuser;
+--------------+--------------+------+-----+---------+----------------+
| Field        | Type         | Null | Key | Default | Extra          |
+--------------+--------------+------+-----+---------+----------------+
| id           | bigint(20)   | NO   | PRI | NULL    | auto_increment |
| version      | bigint(20)   | NO   |     | NULL    |                |
| email        | varchar(255) | YES  |     | NULL    |                |
| uuid         | varchar(255) | NO   | MUL | NULL    |                |
| partner_id   | bigint(20)   | NO   | MUL | NULL    |                |
| password     | varchar(255) | YES  |     | NULL    |                |
| date_created | datetime     | YES  |     | NULL    |                |
| last_updated | datetime     | YES  |     | NULL    |                |
+--------------+--------------+------+-----+---------+----------------+

mysql> describe key_value;
+----------------+--------------+------+-----+---------+----------------+
| Field          | Type         | Null | Key | Default | Extra          |
+----------------+--------------+------+-----+---------+----------------+
| id             | bigint(20)   | NO   | PRI | NULL    | auto_increment |
| version        | bigint(20)   | NO   |     | NULL    |                |
| date_created   | datetime     | YES  |     | NULL    |                |
| last_updated   | datetime     | YES  |     | NULL    |                |
| upkey          | varchar(255) | NO   | MUL | NULL    |                |
| user_id        | bigint(20)   | YES  | MUL | NULL    |                |
| security_level | int(11)      | NO   |     | NULL    |                |
+----------------+--------------+------+-----+---------+----------------+

key_value.user_id 是引用 gpnxuser.id 的 FK。我在 gpnxuser.partner_id 中也有一个索引,它是一个引用名为“partner”的表的 FK(我认为这对这个问题并不重要)。

对于 partner_id = 64,我在 gpnxuser 中有 500K 行,它们与 key_value 中大约 6M 行有关系。

我想要一个查询返回所有不同的“key_value.upkey”用户属于给定合作伙伴。我做了这样的事情:

select upkey from gpnxuser join key_value on gpnxuser.id=key_value.user_id where partner_id=64 group by upkey;

它需要永远运行。查询的解释如下:

mysql> explain select upkey from gpnxuser join key_value on gpnxuser.id=key_value.user_id where partner_id=64 group by upkey;

    +----+-------------+-----------+------+----------------------------+--------------------+---------+-----------------------------+--------+----------------------------------------------+
    | id | select_type | table     | type | possible_keys              | key                | key_len | ref                         | rows   | Extra                                        |
    +----+-------------+-----------+------+----------------------------+--------------------+---------+-----------------------------+--------+----------------------------------------------+
    |  1 | SIMPLE      | gpnxuser  | ref  | PRIMARY,FKB2D9FEBE725C505E | FKB2D9FEBE725C505E | 8       | const                       | 259640 | Using index; Using temporary; Using filesort |
    |  1 | SIMPLE      | key_value | ref  | FK9E0C0F912D11F5A9         | FK9E0C0F912D11F5A9 | 9       | gpnx_finance_db.gpnxuser.id |     14 | Using where                                  |
    +----+-------------+-----------+------+----------------------------+--------------------+---------+-----------------------------+--------+----------------------------------------------+

我的问题是:有没有可以快速运行并获得我想要的结果的查询?

【问题讨论】:

看来这个问题最好的地方是:dba.stackexchange.com 【参考方案1】:

您需要做的是利用 EXISTS 语句:这只会导致部分表扫描,直到找到匹配项,而不是更多。

select upkey from (select distinct upkey from key_value) upk 
where EXISTS 
    (select 1 from gpnxuser u, key_value kv 
     where u.id=kv.user_id and partner_id=1 and kv.upkey = upk.upkey)

注意。在原始查询中,group by 被误用:distinct 看起来更好。

select DISTINCT upkey from gpnxuser join key_value on 
gpnxuser.id=key_value.user_id where partner_id=1

【讨论】:

【参考方案2】:

如果您通常基于此列运行查询,我会考虑在 user_id 上对您的 key_value 表进行分区。

http://dev.mysql.com/doc/refman/5.1/en/partitioning.html

【讨论】:

以上是关于具有 JOIN 和 GROUP BY 优化的 MySQL 查询。是不是可以?的主要内容,如果未能解决你的问题,请参考以下文章

HIVE优化场景七--数据倾斜--group by 倾斜

优化 PostgreSQL 中的 JOIN -> GROUP BY 查询:所有索引都已经存在

mysql group by using filesort优化

mysql8 的 group by错误

Spark Window 聚合与 Group By/Join 性能

如何使用具有多个 GROUP BY、子查询和 WHERE IN 在大表上的查询来优化查询?