如何优化显示数千条数据的长查询

Posted 2023-04-15

【中文标题】如何优化显示数千条数据的长查询

【英文标题】：How to optimize long query that displays thousands of data

【发布时间】：2019-02-13 05:08:50

【问题描述】：

我要为我的报告显示几乎数千个数据，这使我的浏览器由于数据量大而出现延迟。我认为我的查询是真正的问题。如何优化我的查询？我应该在查询中添加什么内容吗？

我正在使用支持 PHP7 的 Xampp。

 SELECT 
`payroll_billed_units`.`allotment_code`,
`payroll_billed_units`.`category_name`,
`payroll_billed_units`.`ntp_number`,
`payroll_billed_units`.`activity`,
`payroll_billed_units`.`regular_labor`,
`payroll_sub`.`block_number`,
(SELECT 
    GROUP_CONCAT(DISTINCT `lot_number` SEPARATOR ', ')
    FROM
        `payroll_billed_units` `lot_numbers`
    WHERE
        `lot_numbers`.`allotment_code` =  `payroll_billed_units`.`allotment_code`
            AND `lot_numbers`.`category_name` = `payroll_billed_units`.`category_name`
            AND `lot_numbers`.`ntp_number` = `payroll_billed_units`.`ntp_number`
            AND `lot_numbers`.`activity` = `payroll_billed_units`.`activity`) AS `lot_numbers`,
(SELECT 
        COUNT(`billed`.`ntp_id`)
    FROM
        `regular_ntp` `billed`
    WHERE
        `billed`.`allotment_code` = `payroll_billed_units`.`allotment_code`
            AND `billed`.`category_name` = `payroll_billed_units`.`category_name`
            AND `billed`.`ntp_number` = `payroll_billed_units`.`ntp_number`
            AND `billed`.`activity` = `payroll_billed_units`.`activity`) AS `billed`,
(SELECT 
        COUNT(`approved`.`id`)
    FROM
        `payroll_billed_units` `approved`
    WHERE
        `approved`.`allotment_code` = `payroll_billed_units`.`allotment_code`
            AND `approved`.`category_name` = `payroll_billed_units`.`category_name`
            AND `approved`.`ntp_number` = `payroll_billed_units`.`ntp_number`
            AND `approved`.`activity` = `payroll_billed_units`.`activity`) AS `approved`
 FROM
`payroll_billed_units` 
 JOIN payroll_transaction ON payroll_billed_units.billing_number = 
payroll_transaction.billing_number 
 JOIN payroll_sub ON payroll_transaction.billing_number = 
payroll_sub.billing_number 
WHERE payroll_billed_units.billing_date = '2019-02-13' 
AND payroll_transaction.contractor_name = 'Roy Codal' GROUP BY allotment_code, category_name, activity

我期待它会加载或显示我的所有数据。

【问题讨论】：

哦子选择...

您真的想要显示数千行吗？

请提供SHOW CREATE TABLE，以便我们查看数据类型、索引等

【参考方案1】：

最大的问题是依赖子选择，它们导致性能不佳。将为外部查询的每一行执行子选择。如果您级联子选择，您将很快让查询永远运行。

如果任何部分只产生 5 个结果集，3 个子选择将意味着数据库必须运行 625 个查询 (5^4)！

使用 JOIN。

【参考方案2】：

你的几个表需要这个“复合”索引：

INDEX(allotment_code, category_name, ntp_number, activity)  -- in any order

payroll_transaction 需要 INDEX(contractor_name)，尽管它可能不会被使用。

payroll_billed_units 需要INDEX(billing_date)，尽管它可能不会被使用。

如需进一步讨论，请为每张桌子提供SHOW CREATE TABLE和EXPLAIN SELECT ...

只需使用COUNT(*) 而不是COUNT(foo)。后者在包含之前检查列是否为非空。这通常是不需要的。读者会因为认为可能存在 NULL 而感到困惑。

您的GROUP BY 不正确，因为它缺少ntp_number。了解ONLY_FULL_GROUP_BY 的sql_mode。我提出这个是因为您几乎可以摆脱其中一些子查询。

另一个问题...由于JOIN 和GROUP BY 的“膨胀-放气”性质，这些数字可能会被夸大。我建议您手动检查COUNTs 的值。