具有动态列的 MySQL 数据透视表查询

Posted 2023-02-24

【中文标题】具有动态列的 MySQL 数据透视表查询

【英文标题】：MySQL pivot table query with dynamic columns

【发布时间】：2021-05-30 06:11:57

【问题描述】：

我使用以下表格来存储产品数据：

mysql> SELECT * FROM product;
+---------------+---------------+--------+
| id | name     | description   | stock  |
+---------------+---------------+--------+
|  1 | product1 | first product |    5   | 
|  2 | product2 | second product|    5   | 
+---------------+---------------+--------+

mysql> SELECT * FROM product_additional;
+-----------------+------------+
| id | fieldname  | fieldvalue |
+-----------------+------------+
|  1 | size       | S          |
|  1 | height     | 103        |
|  2 | size       | L          |
|  2 | height     | 13         |
|  2 | color      | black      |
+-----------------+------------+

使用以下查询从两个表中选择记录

mysql> SELECT 
    p.id
    , p.name
    , p.description
    ,MAX(IF(pa.fieldname = 'size', pa.fieldvalue, NULL)) as `size`
    ,MAX(IF(pa.fieldname = 'height', pa.fieldvalue, NULL)) as `height`
    ,MAX(IF(pa.fieldname = 'color', pa.fieldvalue, NULL)) as `color`
FROM product p
LEFT JOIN product_additional AS pa ON p.id = pa.id
GROUP BY p.id
+---------------+---------------+--------+---------+--------+
| id | name     | description   | size   | height  | color  |
+---------------+---------------+--------+---------+--------+
|  1 | product1 | first product | S      | 103     | null   |
|  2 | product2 | second product| L      | 13      | black  |
+---------------+---------------+--------+---------+--------+

一切正常:)

因为我动态填充“附加”表，如果查询也是动态的，那就太好了。这样我就不必每次输入新的字段名和字段值时都更改查询。

【问题讨论】：

MySQL pivot row into dynamic number of columns 的可能重复项

【参考方案1】：

我的做法与接受的答案略有不同。这样您就可以避免使用默认限制为 1024 个字符的 GROUP_CONCAT，如果您有很多字段，除非您更改限制，否则将无法使用。

SET @sql = '';
SELECT
    @sql := CONCAT(@sql,if(@sql='','',', '),temp.output)
FROM
(
    SELECT
      DISTINCT
        CONCAT(
         'MAX(IF(pa.fieldname = ''',
          fieldname,
          ''', pa.fieldvalue, NULL)) AS ',
          fieldname
        ) as output
    FROM
        product_additional
) as temp;

SET @sql = CONCAT('SELECT p.id
                    , p.name
                    , p.description, ', @sql, ' 
                   FROM product p
                   LEFT JOIN product_additional AS pa 
                    ON p.id = pa.id
                   GROUP BY p.id, p.name, p.description');

PREPARE stmt FROM @sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;

Click here for demo

【讨论】：

我在 mySQL 工作台中运行它时收到错误消息。如何运行？

它对我有用。这取决于您遇到的错误

终于，一个真正的答案！谢谢，确实我在GROUP_CONCAT 和很多领域都遇到了麻烦。非常感谢！！

顺便可以定义group_concat的限制，SET SESSION group_concat_max_len = 1000000;以上为 SESSION SET GLOBAL group_concat_max_len = 1000000;

@GrumpyCivet 您遇到的问题很可能是由于启用了ONLY_FULL_GROUP_BY。简单的解决方案是填写生成查询的 Group By 子句中的其余列......我现在已经完成了。所以它应该工作。这是它的工作原理db-fiddle.com/f/vysYCm6TKznUPBopV9WpjF/0

【参考方案2】：

在 MySQL 中动态执行此操作的唯一方法是使用 Prepared 语句。这是一篇关于它们的好文章：

Dynamic pivot tables (transform rows to columns)

您的代码如下所示：

SET @sql = NULL;
SELECT
  GROUP_CONCAT(DISTINCT
    CONCAT(
      'MAX(IF(pa.fieldname = ''',
      fieldname,
      ''', pa.fieldvalue, NULL)) AS ',
      fieldname
    )
  ) INTO @sql
FROM product_additional;

SET @sql = CONCAT('SELECT p.id
                    , p.name
                    , p.description, ', @sql, ' 
                   FROM product p
                   LEFT JOIN product_additional AS pa 
                    ON p.id = pa.id
                   GROUP BY p.id, p.name, p.description');

PREPARE stmt FROM @sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;

见Demo

注意：GROUP_CONCAT 函数有 1024 个字符的限制。见参数 group_concat_max_len

【讨论】：

感谢您的快速回答！所以在 php 中，这意味着我做了 2 个查询。一个用于获取列字符串，第二个用于将字符串连接到完整查询中？在这里使用 Zend 框架。

@fr0sty 你必须在 PHP 中测试它。我不确定您将如何处理该代码。

我刚刚使用了这个例子并重新应用它来从 wp_posts 和 wp_postmeta 中提取数据，这是一个巨大的帮助。谢谢你。我唯一需要添加的是调用 SET group_concat_max_len=150000;所以它不会发出警告。

这是一个很大的帮助。我将这种方法应用于类似的问题，而不是连接一个 SELECT 语句，而是创建了一个每隔几个小时安排的事件来重建一个视图，该视图将 n 行从一个表旋转到另一个表的 n 列。这是一个很大的帮助，因为在我每次执行 SELECT 时都使用 PHP 重建查询之前。尽管视图不能利用索引，但我认为过滤性能不会成为问题，因为旋转的行-> 列代表特许经营中员工的培训类型，因此视图永远不会破坏几千行。谢谢@bluefeet！

@JuanCarlosOropeza 感谢您告诉我，我用 dbfiddle 替换了链接。

【参考方案3】：

这里是存储过程，它将根据一个表和列中的数据以及其他表和列中的数据生成表。

使用函数'sum(if(col = value, 1,0)) as value'。您可以从 MAX(if()) 等不同的函数中进行选择。

delimiter //

  create procedure myPivot(
    in tableA varchar(255),
    in columnA varchar(255),
    in tableB varchar(255),
    in columnB varchar(255)
)
begin
  set @sql = NULL;
    set @sql = CONCAT('select group_concat(distinct concat(
            \'SUM(IF(', 
        columnA, 
        ' = \'\'\',',
        columnA,
        ',\'\'\', 1, 0)) AS \'\'\',',
        columnA, 
            ',\'\'\'\') separator \', \') from ',
        tableA, ' into @sql');
    -- select @sql;

    PREPARE stmt FROM @sql;
    EXECUTE stmt;

    DEALLOCATE PREPARE stmt;
    -- select @sql;

    SET @sql = CONCAT('SELECT p.', 
        columnB, 
        ', ', 
        @sql, 
        ' FROM ', tableB, ' p GROUP BY p.',
        columnB,'');

    -- select @sql;

    /* */
    PREPARE stmt FROM @sql;
    EXECUTE stmt;
    /* */
    DEALLOCATE PREPARE stmt;
end//

delimiter ;