GROUP_CONCAT 和 FIND_IN_SET,多个连接

Posted

技术标签:

【中文标题】GROUP_CONCAT 和 FIND_IN_SET,多个连接【英文标题】:GROUP_CONCAT with FIND_IN_SET, multiple joins 【发布时间】:2016-02-10 03:54:13 【问题描述】:

我想检索设置了某些过滤器的项目。 例如,红色或蓝色和小的列表项应仅返回项 apple。 ((红色(2)或蓝色(4))和小(5))=>苹果

我找到了 2 个解决方案,但在我看来,这两个解决方案都过于复杂。 第一个解决方案在我看来更优雅,因为当我想通过AND 添加另一个过滤器时,它非常简单。而第二种解决方案将需要另一个JOIN。 我希望我忽略了一些东西,并且有一个比这个更好的解决方案。

问题,

    有更好的解决方案吗? 如果没有更好的解决方案 - 哪个更快/推荐?

项目表

| id | itemname |
├────┼──────────┤
| 1  | apple    |
| 2  | orange   |
| 3  | banana   |
| 4  | melon    |

过滤表

│ id │ filtername │
├────┼────────────┤
│ 1  │ orange     │
│ 2  │ red        │
│ 3  │ green      │
│ 4  │ blue       │
│ 5  │ small      │
│ 6  │ medium     │
│ 7  │ big        │
│ 8  │ yellow     │

item_filter

│ item_id │ filter_id │
├─────────┼───────────┤
│ 1       │ 2         │
│ 1       │ 3         │
│ 1       │ 5         │
│ 2       │ 1         │
│ 2       │ 5         │
│ 3       │ 6         │
│ 3       │ 8         │
│ 4       │ 3         │
│ 4       │ 7         │

基于 GROUP_CONCAT 和 FIND_IN_SET 的第一个解决方案

sqlfiddle:http://sqlfiddle.com/#!9/26f99/1/0

SELECT * FROM item
JOIN (
    SELECT item_id, GROUP_CONCAT(filter_id) AS filters
    FROM item_filter
    GROUP BY item_id
) AS grp ON grp.item_id = item.id
WHERE (FIND_IN_SET(2,filters) OR FIND_IN_SET(4,filters)) AND FIND_IN_SET(5, filters)

仅基于 JOIN 和 where 子句的第二种解决方案

sqlfiddle:http://sqlfiddle.com/#!9/f0b95/1/0

SELECT itemname FROM item
JOIN item_filter as filter1 on item.id=filter1.item_id
JOIN item_filter as filter2 on item.id=filter2.item_id
WHERE (filter1.filter_id=2 or filter1.filter_id=4) and filter2.filter_id=5

【问题讨论】:

【参考方案1】:

第一个解决方案不会有用地使用索引。子查询会使用索引并返回大量记录,但这些记录将在没有索引的情况下进行检查。

例如,如果项目表上有 10000 行,则子查询将返回 1000 行。对于这 10000 行中的每一行,数据库将不得不使用一个函数来检查过滤器。由于它是子查询的结果,它不会使用索引(此外,FIND_IN_SET 不会使用索引)。

第二个解决方案应该快得多(但正如您所说,添加新过滤器的灵活性较低。请注意,您可能希望 item_filter 表上的索引同时涵盖 item_id 和过滤器 ID(并且可能只是在filter_id 列)。

我希望 mysql 会这样执行:-

SELECT itemname 
FROM item_filter as filter2 
JOIN item_filter as filter1 on filter2.id = filter1.item_id
JOIN FROM item on item.id = filter1 .item_id
WHERE (filter1.filter_id=2 or filter1.filter_id=4) and filter2.filter_id=5

因为这样它可以首先使用最独占的索引,将其连接到第二个过滤器(使用通过检查过滤器 2 和 4 缩小的 item_id 上的索引),然后根据 item_id 加入项目(我会希望是主键)。

【讨论】:

【参考方案2】:

我不是 MySQL 专家,但这是我的两分钱。

您应该使用 MySQL EXPLAIN 函数来获取有关如何执行查询的详细信息: http://dev.mysql.com/doc/refman/5.7/en/explain-output.html

但在此之前,你应该在你的关系表中添加一个复合键索引,即:item_filter 表;如果不这样做,EXPLAIN 结果将不相关,因为后一个表将针对每个查询进行全面扫描。

现在,对您的两个查询运行解释,您会注意到您的第二个解决方案显然是最好的,从性能的角度来看(假设您将索引添加到 EXPLAIN 表):

mysql> EXPLAIN SELECT * FROM item
    -> JOIN (
    ->     SELECT item_id, GROUP_CONCAT(filter_id) AS filters
    ->     FROM item_filter
    ->     GROUP BY item_id
    -> ) AS grp ON grp.item_id = item.id
    -> WHERE (FIND_IN_SET(2,filters) OR FIND_IN_SET(4,filters)) AND FIND_IN_SET(5, filters);
+----+-------------+-------------+-------+---------------+---------+---------+------+------+--------------------------------+
| id | select_type | table       | type  | possible_keys | key     | key_len | ref  | rows | Extra                          |
+----+-------------+-------------+-------+---------------+---------+---------+------+------+--------------------------------+
|  1 | PRIMARY     | <derived2>  | ALL   | NULL          | NULL    | NULL    | NULL |    4 | Using where                    |
|  1 | PRIMARY     | item        | ALL   | PRIMARY       | NULL    | NULL    | NULL |    4 | Using where; Using join buffer |
|  2 | DERIVED     | item_filter | index | NULL          | PRIMARY | 8       | NULL |    9 | Using index                    |
+----+-------------+-------------+-------+---------------+---------+---------+------+------+--------------------------------+
3 rows in set (0.00 sec)

mysql> EXPLAIN SELECT itemname FROM item
    -> JOIN item_filter as filter1 on item.id=filter1.item_id
    -> JOIN item_filter as filter2 on item.id=filter2.item_id
    -> WHERE (filter1.filter_id=2 or filter1.filter_id=4) and filter2.filter_id=5;
+----+-------------+---------+--------+---------------+---------+---------+--------------------+------+--------------------------+
| id | select_type | table   | type   | possible_keys | key     | key_len | ref                | rows | Extra                    |
+----+-------------+---------+--------+---------------+---------+---------+--------------------+------+--------------------------+
|  1 | SIMPLE      | item    | ALL    | PRIMARY       | NULL    | NULL    | NULL               |    4 |                          |
|  1 | SIMPLE      | filter1 | ref    | PRIMARY       | PRIMARY | 4       | test.item.id       |    1 | Using where; Using index |
|  1 | SIMPLE      | filter2 | eq_ref | PRIMARY       | PRIMARY | 8       | test.item.id,const |    1 | Using index              |
+----+-------------+---------+--------+---------------+---------+---------+--------------------+------+--------------------------+
3 rows in set (0.01 sec)

mysql>

不再赘述:

解决方案一执行两次表全扫描、一次索引查找并读取 17 行(另外我不相信 GROUP_CONCATFIND_IN_SET 的性能影响)。

方案二执行单表全扫描,一共只读取6行。

查看 EXPLAIN 连接类型 文档了解更多信息: http://dev.mysql.com/doc/refman/5.7/en/explain-output.html#explain-join-types

【讨论】:

以上是关于GROUP_CONCAT 和 FIND_IN_SET,多个连接的主要内容,如果未能解决你的问题,请参考以下文章

SQL左连接和group_concat返回重复数据

MySQL 和 GROUP_CONCAT() 最大长度

group_concat sqlite 和 order by

MySQL 使用 GROUP_CONCAT 和多个 JOINS

为啥 HAVING 和 GROUP_CONCAT 在此查询中不能一起工作?

使用 count 和 group_concat 编写 SQL 代码