MySQL 和 PDO，加快查询并从 MySQL 函数（例程）获取结果/输出？

Posted 2023-02-24

【中文标题】MySQL 和 PDO，加快查询并从 MySQL 函数（例程）获取结果/输出？

【英文标题】：MySQL and PDO, speed up query and get result/output from MySQL function (routine)?

【发布时间】：2016-08-09 08:06:36

【问题描述】：

获取价值：

我的 mysql 数据库中有来自 here 的 levenshtein_ratio 函数。我按以下方式运行它：

    $stmt = $db->prepare("SELECT r_id, val FROM table WHERE levenshtein_ratio(:input, someval) > 70");
    $stmt->execute(array('input' => $input));
    $result = $stmt->fetchAll(); 

    if(count($result)) 
        foreach($result as $row) 
            $out .= $row['r_id'] . ', ' . $row['val'];
        
    

而且效果完全符合预期。但我想知道，有没有一种很好的方法来获得levenshtein_ratio() 计算的值？

我试过了：

    $stmt = $db->prepare("SELECT levenshtein_ratio(:input, someval), r_id, val FROM table WHERE levenshtein_ratio(:input, someval) > 70");
    $stmt->execute(array('input' => $input));
    $result = $stmt->fetchAll(); 

    if(count($result)) 
        foreach($result as $row) 
            $out .= $row['r_id'] . ', ' . $row['val'] . ', ' . $row[0];
        
    

它确实在技术上有效（我从$row[0] 获得百分比），但查询有点难看，我不能使用正确的键来获取值，比如其他两项我可以。

有没有办法以某种方式获得一个很好的参考？

我试过了：

$stmt = $db->prepare("SELECT r_id, val SET output=levenshtein_ratio(:input, someval) FROM table WHERE levenshtein_ratio(:input, someval) > 70");

根据我在网上找到的东西对其进行建模，但它不起作用，最终破坏了整个查询。

加快速度：

我正在对一组值运行此查询：

foreach($parent as $input)
    $stmt = ...
    $stmt->execute...
    $result = $stmt->fetchAll(); 

    ... etc

但它最终变得非常缓慢。对于一个只有 14 个输入的数组和一个大约 350 行的数据库，就像 20 秒一样慢，预计很快就会达到 10,000 行。我知道将查询放在循环中是一件很糟糕的事情，但我不知道还有什么办法可以绕过它。

编辑 1

当我使用时

$stmt = $db->prepare("SELECT r_id, val SET output=levenshtein_ratio(:input, someval) FROM table WHERE levenshtein_ratio(:input, someval) > 70");

这肯定会花费两倍的时间，就像我只计算一次一样？类似于在 for 循环中使用 $i < sizeof($arr);？

【问题讨论】：

不应该$stmt->execute(array('input' => $input)); 是$stmt->execute(array(':input' => $input));？

@TheCodesee 也许？大概。我是mysqli人，这是我第一次接触PDO。无论哪种方式，它都有效。

@TheCodesee 查看here。并不是说这就是全部，他可能是错的，但它的工作方式是我现在的方式。

【参考方案1】：

要清理列名，您可以使用“as”来重命名函数的列。同时，您可以通过在 where 子句中使用该列名来加快处理速度，因此该函数只执行一次。

$stmt = $db->prepare("SELECT r_id, levenshtein_ratio(:input, someval) AS val FROM table HAVING val > 70");

如果仍然太慢，您可以考虑使用像 https://github.com/juanmirocks/Levenshtein-MySQL-UDF 这样的 c 库

doh - 正如 spencer7593 所说，忘记将“where”切换为“having”。

【讨论】：

我一直在拔头发，因为它不起作用，而且我在这个前夜的最后期限很紧。将其更改为HAVING，它再好不过了！很高兴你回来找我！

获得简洁易懂的答案。另一个是彻底的，但我不得不多次阅读它才能掌握它。不过，他确实提到了HAVING。太糟糕了，我不能选择两者作为答案。

【参考方案2】：

我假设 `someval` 是对表中列的无限制引用。虽然您可能会理解，如果不查看表定义，其他阅读 SQL 语句的人是无法分辨的。作为对未来读者的帮助，请考虑使用表名或（最好）在语句中分配给表的短别名来限定列引用。

 SELECT t.r_id
      , t.val
   FROM `table` t
  WHERE levenshtein_ratio(:input, t.someval) > 70

WHERE 子句中的该函数必须针对表中的每一 行进行评估。没有办法让 MySQL 在其上建立索引。所以没有办法让 MySQL 执行索引范围扫描操作。

如果查询有ORDER BY t.val 子句，或者有可用的“覆盖索引”，则可能让 MySQL 为查询使用索引。

但这并不能解决需要为每一行评估函数的问题。 （如果查询具有排除行的其他谓词，则不一定需要为排除的行评估该函数。）

如果函数被声明为 DETERMINISTIC，那么将表达式添加到 SELECT 列表确实不应该太昂贵。第二次调用具有相同参数的 DETERMINISTIC 函数可以重用上一次执行返回的值。 （声明一个函数 DETERMINISTIC 本质上意味着当给定相同的参数值时，该函数保证返回相同的结果。重复调用将返回相同的值。也就是说，返回值只取决于参数值，而不依赖于还有什么。

 SELECT t.r_id
      , t.val
      , levenshtein_ratio(:input, t.someval) AS lev_ratio
   FROM `table` t
  WHERE levenshtein_ratio(:input2, t.someval) > 70

（注意：我在第二个引用中使用了不同的绑定占位符名称，因为 PDO 不会像我们预期的那样处理“重复”绑定占位符名称。（这可能已在更新的 PDO 版本中得到纠正。该问题的第一个“修复”是对文档的更新，指出绑定占位符名称应仅在语句中出现一次，如果您需要对相同值的两个引用，请使用两个不同的占位符名称并将相同的值绑定到两者。）

如果不想重复表达式，可以将条件从 WHERE 子句移到 HAVING，并通过分配给列的别名引用 SELECT 列表中的表达式。

 SELECT t.r_id
      , t.val
      , levenshtein_ratio(:input, t.someval) AS lev_ratio
   FROM `table` t
 HAVING lev_ratio > 70

WHERE 和 HAVING 之间的最大区别在于 WHERE 子句中的谓词在访问行时进行评估。在访问行之后，HAVING 子句的评估要晚得多。 （这里简要解释了为什么 HAVING 子句可以通过别名引用 SELECT 列表中的列，但 WHERE 子句不能这样做。）

如果这是一个大表，并且排除了大量行，则使用 HAVING 子句可能会产生显着的性能差异。可能会创建更大的中间集。

要获得用于查询的“索引”，覆盖索引是我看到的唯一选项。

 ON `table` (r_id, val, someval)

这样，MySQL 就可以满足来自索引的查询，而无需在基础表中查找页面。查询需要的所有列值都可以从索引中获得。

---

跟进

要创建索引，我们需要创建一个列，例如

  lev_ratio_foo FLOAT

并使用函数的结果进行预填充

UPDATE `table` t
   SET t.lev_ratio_foo = levenshtein_ratio('foo', t.someval) 
;

然后我们可以创建一个索引，例如

... ON `table` (lev_ratio_foo, val, r_id)   

并重写查询

SELECT t.r_id
     , t.val
     , t.lev_ratio_foo 
  FROM `table` t
 WHERE t.lev_ratio_foo > 70

通过该查询，MySQL 可以对以 lev_ratio_foo 作为前导列的索引进行索引范围扫描操作。

很可能，当向表中添加新行或修改 someval 列的值时，我们可能希望添加 BEFORE INSERT 和 BEFORE UPDATE 触发器来维护值。

可以扩展该模式，可以为“foo”以外的值添加其他列。例如“酒吧”

UPDATE `table` t
   SET t.lev_ratio_bar = levenshtein_ratio('bar', t.someval)

显然，这种方法无法针对广泛的输入值进行扩展。

【讨论】：

就像我在对另一个答案的评论中所说的那样，这可能是两者中更好的一个 - 特别是它的彻底性。但我今天只需要一个复制和粘贴答案。不过谢谢你，真诚的。不知道你是如何赚到 53.8k 的。