mysql全文搜索，多个关键词权重排序

Posted 2023-04-06

关键词：中国，美丽
数据1：中国啊啊啊
数据2：啊啊啊啊美丽
数据3：啊啊中国啊啊啊美丽
可以看到数据3包含了2个关键词（中国、美丽），怎样让数据3排序到第一位（当一条数据同时出现多个关键词的时候权重上升）
请问msyql语句该如何写？谢谢！！！

自己在写一个web,希望对数据库做全文检索。但是google了解到，由于中文分词的缘故，mysql只支持英文的全文搜索，想支持中文的，需要各种插件or实现一些比较复杂的机制，而买的虚拟主机并不支持这些复杂的东西。仔细想了下，因为自己需求的功能也比较简单，主要是2个字段的搜索，且数据量不大，即便增加几个字段，需要多运行几个select也不会对速度有太大影响，所以通过一些work around实现了需求。Step 1:用locate进行简单的搜索Locate可以判断子串是否在子乱 有两个column,一个name,一个description.所以可以用LOCATE>0去判断是否关键字在其中出现了。 其实就是 SELECT * FROM table WHERE LOCATE(key, \'name\')>0 OR LOCATE(key, \'description);这样，我们就简单实现了对某个key在两个域的搜索Step 2:搜索多个关键字 通常，搜索都是有多个关键字，所以我们需要对每个关键字，执行下Step1的查询。（当然，也可以合成一个，这里偷懒每次只查询1个关键字） 然后，我们再将每次查询出的数组都合并，这样就得到了一个最终的集合。php代码如下：
function selectlocate($tarcols,$skey) 
    $where ="";
    $connector = " ";
    global $count;
    foreach($tarcols as $tarcol )
        $where .= $connector;
        $where .= "LOCATE(\'$skey\', $tarcol) != 0  ";
        if($connector == " ")
            $connector = " OR ";
        
    
    $sql = "SELECT * FROM pets_table WHERE $where";
    $result = mysql_query($sql);
    $ret = Array();
    while($item = mysql_fetch_array($result, MYSQL_ASSOC))
        $count ++;
        $ret[] = $item;
    
    return $ret;

Step 3：匹配的权重 上面Step2的结果，其实是无序的。通常，如果我们搜索一个字段：1.如果这个字段和关键字完全相同，那么一般来讲，可能这个结果应该是相关度最高的2.如果他只是其其中出现了一次，相关度就最低。3.如果他出现的次数比在其他row中出现的次数高，那么他的相关度就比2中的结果高 所以，搜索的时候依据这个顺序考虑权重，a.如果完全相等，权重为1000 b.如果出现1次，权重为10，出现n次c.权重为n*10每次搜索出来的结果附加上权重----》然后合并相同项----》并把权重累加 最后按权重排序，即可得到一个有排序的搜索结果。 以下是两种1关键字对应1个字段（上面的代码是1关键字多个字段）查询的代码（不包含合并两个数组的代码,相关的代码在Step4中），只需遍历每个关键字和字段，就能完成搜索
$count = 0; 
function selectequal($col,$skey)
    $connector = " ";
    global $count;
    $sql = "SELECT * FROM pets_table WHERE LOWER($col)=LOWER(\'$skey\')";
    $result = mysql_query($sql);
    $ret = Array();
    while($item = mysql_fetch_array($result, MYSQL_ASSOC))
        $count ++;
        $item["weight"] = 1000;
        $ret[] = $item;
    
    return $ret;

function selectlocate($col,$skey)
    global $count;
    $sql = "SELECT *,(LENGTH(description) - LENGTH(REPLACE(description, \'$skey\', \'\')))/LENGTH(\'$skey\') *10 as weight FROM pets_table WHERE LOCATE(LOWER(\'$skey\'),LOWER($col))>0";
    $result = mysql_query($sql);
    $ret = Array();
    while($item = mysql_fetch_array($result, MYSQL_ASSOC))
        $count ++;
        $ret[] = $item;
    
    return $ret;

 Step 4: 字段的权重 在我的需求中，显然name这个字段比description更重要，所以在匹配时，对name字段的结果应该有所倾斜，所以，又可以增加一个对字段的权重系数。1.如果是在name域的匹配，设系数为10；2.如果是在description匹配，设系数为1； 将Step 3每次计算得出的权重，再乘上这个系数，就可以得到一个新的，更有效的权重值。 最后按权重排序，即可得到一个最有相关度排序的搜索结果 其他的细节： 如果一个关键字已经满足了equal条件，那么再使用locate条件的时候会依然返回一个结果，所以在使用locate条件的时候，过滤掉equal的情况
点击(此处)折叠或打开
<?php 
$count = 0;
function selectequal($col,$val,$skey)
    $connector = " ";
    global $count;
    $sql = "SELECT * FROM pets_table WHERE LOWER($col)=LOWER(\'$skey\')";
    $result = mysql_query($sql);
    $ret = Array();
    while($item = mysql_fetch_array($result, MYSQL_ASSOC))
        $count ++;
        $item["weight"] = 1000*$val;
        $ret[] = $item;
    
    return $ret;

function selectlocate($col,$val,$skey)
    global $count;
    $sql = "SELECT *,(LENGTH(description) - LENGTH(REPLACE(description, \'$skey\', \'\')))/LENGTH(\'$skey\') *10*$val as weight FROM pets_table WHERE LOCATE(LOWER(\'$skey\'),LOWER($col))>0 AND LOWER($col)!=LOWER(\'$skey\')";
    $result = mysql_query($sql);
    $ret = Array();
    while($item = mysql_fetch_array($result, MYSQL_ASSOC))
        $count ++;
        $ret[] = $item;
    
    return $ret;

function cleanarr($arr)
    global $count;
    $tmp = Array();
    $tmpall = Array();
    foreach($arr as $item)
        if(array_key_exists($item[\'uid\'], $tmp))
            $tmp[$item[\'uid\']]+=$item["weight"];
        
        else
            $tmp[$item[\'uid\']] = $item["weight"];
            $tmpall[$item[\'uid\']] = $item;
        
    
    //sort by weight in descending order 
    arsort($tmp);
    $ret = Array();
    //rebuild the return arary 
    $count = 0;
    foreach($tmp as $k=>$v)
        $count++;
        $tmpall[$k][\'weight\']=$v;
        $ret[]=$tmpall[$k];
    
    return $ret;

require_once("consvr.php");
    $colshash = array("name"=>10,"description"=>1);
    $ret = Array();
    $keywords=explode(" ", $keywords);
    $cols = array_keys($colshash);
    foreach($keywords as $keyword)
        foreach($colshash as $col=>$val)
            $ret = array_merge($ret,selectequal($col,$val, $keyword));
            $ret = array_merge($ret,selectlocate($col,$val, $keyword));
        
        
    
    $ret = cleanarr($ret);
    $ret = array(\'msg\' => "Success", \'count\'=>$count,\'children\' => $ret, \'query\'=>"COMPLEX:NOT READABLE");
    echo json_encode($ret);
    mysql_close();
?>追问

我也是醉了，怎样删除这种垃圾回答？除了一整段的复制还会什么？

参考技术A 多个关键字先分割然后： like %权重%排序%本回答被提问者采纳

如何按相关性对MYSQL全文搜索结果进行排序

【中文标题】如何按相关性对MYSQL全文搜索结果进行排序

【英文标题】：How to sort MYSQL fulltext search results by relevancy

【发布时间】：2010-11-04 05:55:08

【问题描述】：

我对 MYSQL 比较陌生，并且遇到了一个困扰我一段时间的问题。我已经尝试在整个地方搜索答案，但目前还没有找到可接受的解决方案。

这是我目前正在运行的查询，以查找给定搜索词的最佳匹配：

$query="SELECT * from `vocabulary` WHERE translation = 'word' OR translation LIKE '%word%'";

它返回的结果很全面，包括所有相关行。但是，它们没有按任何特定顺序排序，当我在 PHP 中打印结果时，我希望首先显示完全匹配的那些。像这样：

---

1 |单词 2 |填字游戏 3 |话 4 |文字匠

---

非常感谢您的帮助。

-macspacejunkie

【问题讨论】：

更新：感谢大家的帮助！正是我想要的。问候，-macspacejunkie

如果有人帮助了你，请查看他们的回答

【参考方案1】：

LIKE 不是fulltext search。在全文搜索中，MATCH(...) AGAINST(...) 返回一个可以大致近似为相关性的匹配分数。

【参考方案2】：

您可以通过创建全文索引然后匹配您的搜索词来获得良好的相关性搜索。

所以这样的事情应该可以工作。

ALTER TABLE `vocabulary` ADD FULLTEXT INDEX `SEARCH`(`translation`);

SELECT *, MATCH(translation) AGAINST ('+word' IN BOOLEAN MODE) AS relevance 
FROM `vocabulary`
WHERE MATCH(translation) AGAINST ('+word' IN BOOLEAN MODE)
ORDER BY relevance DESC

更多信息可以在MySQL Reference Manual找到。

【讨论】：

当 MATCH 命令用于 WHERE 子句时，MySQL 会自动将行从相关性从高到低排序。

谢谢你，Rich Adams 和 ejunker 的这个。两者都非常好。我有一个客户在搜索相关性方面苦苦挣扎，这是一个很大的帮助。

@ejunker 那太好了。你能指出这个的参考吗？这也适用于布尔模式？谢谢。

@RichAdams 此查询是否返回 OP 要求的单词、wordsmith 等结果？我认为你需要使用 word*

【参考方案3】：

SELECT * from vocabulary 
WHERE translation like 'word'  
union all
SELECT * from vocabulary 
WHERE translation LIKE '%word%' and translation not like 'word'  

将首先列出完全匹配

【讨论】：

这是在大表中做事的一种非常糟糕的方式。考虑使用FULLTEXT 搜索更快的查询

【参考方案4】：

我一直在研究同样的问题，但还没有找到适合我情况的完美答案，但这可能对你有用。我对全文搜索也很陌生，所以任何专家也可以帮助我。

我在 select 中执行两个 MATCH() AGAINST() 语句，并将每个语句的分数组合起来形成总相关性。分配不同的乘数可以让我配置每组结果的重要性。

我的第一个 MATCH() 将使用双引号检查文字（或精确）搜索词。 我的第二场比赛会正常检查。我对第一个匹配项应用了更高的乘数，因此如果找到它应该具有更高的相关性值。

类似的东西。

SELECT *, ((MATCH(indexes) AGAINST ('"search_terms"' IN BOOLEAN MODE) * 10)  
           + (MATCH(indexes) AGAINST ('search_terms' IN BOOLEAN MODE) * 1.5)) AS relevance  
FROM ...
WHERE ...  
      AND (MATCH (indexes) AGAINST ('"search_terms"' IN BOOLEAN MODE) > 0  
           OR MATCH (indexes) AGAINST ('search_terms' IN BOOLEAN MODE) > 0)  
      ...
ORDER BY relevance DESC

如果您使用 EXPLAIN 检查查询的工作方式，您应该会发现，由于 MySQL 的工作方式，额外的 MATCH() AGAINST() 子句实际上并没有增加查询的任何开销。

【参考方案5】：

您的查询只需稍作修改即可获得您要查找的订单。

SELECT * 
FROM vocabulary
WHERE translation LIKE '%word%'
ORDER BY translation <> 'word', translation;

如果translation 正好是'word'，它将位于结果的顶部。这是因为translation <> 'word' 将是 0 当有一个 exact match 出现在 1 之前，它将为所有其他结果返回.由于, translation，其余结果将按字母顺序排序。

此查询避免像所选答案对其UNION 那样进行两次查询。此外，您的查询不需要translation = 'word' OR translation LIKE '%word%'，因为后半部分将始终执行并且是第一部分的超集。

对于那些寻找使用实际全文搜索的答案的人，请查看其他更受好评的答案。