来自 ManyToManyField 的 Django 最大相似度（TrigramSimilarity）

Posted 2023-02-24

【中文标题】来自 ManyToManyField 的 Django 最大相似度（TrigramSimilarity）

【英文标题】：Django max similarity (TrigramSimilarity) from ManyToManyField

【发布时间】：2018-07-14 03:57:57

【问题描述】：

我必须实现一个容错的搜索功能。 目前，我有以下情况：

型号：

class Tag(models.Model):
    name = models.CharField(max_length=255)

class Illustration(models.Model):
    name = models.CharField(max_length=255)
    tags = models.ManyToManyField(Tag)

查询：

queryset.annotate(similarity=TrigramSimilarity('name', fulltext) + TrigramSimilarity('tags__name', fulltext))

示例数据：

插图：

ID |  Name  |        Tags       |
---|--------|-------------------|
 1 | "Dog"  | "Animal", "Brown" |
 2 | "Cat"  | "Animals"         |

插图有标签：

ID_Illustration | ID_Tag |
----------------|--------|
       1        |    1   |
       1        |    2   |
       2        |    3   |

标签：

ID_Tag |   Name   |
-------|----------|
   1   |  Animal  |
   2   |  Brown   |
   3   |  Animals |

当我使用"Animal" 运行查询时，"Dog" 的相似度应该高于"Cat"，因为它是完美匹配。 不幸的是，这两个标签以某种方式被考虑在一起。 目前，它看起来像是将标签连接在一个字符串中，然后检查相似性：

TrigramSimilarity("Animal Brown", "Animal") => X

但我想调整它，使Illustration 实例名称与其标签之间的相似度最高：

Max([
    TrigramSimilarity('Name', "Animal"), 
    TrigramSimilarity("Tag_1", "Animal"), 
    TrigramSimilarity("Tag_2", "Animal"),
]) => X

---

Edit1：我正在尝试查询所有插图，其中标题或其中一个标签的相似度大于 X。

Edit2：附加示例：

全文 = '动物'

TrigramSimilarity('Animal Brown', fulltext) => x TrigramSimilarity('Animals', fulltext) => y

其中 x

但我想要的其实是

TrigramSimilarity(Max(['Animal', 'Brown]), fulltext) => x (Similarity to Animal) TrigramSimilarity('Animals', fulltext) => y

其中 x > y

【问题讨论】：

你能准确地从哪个模型做查询集吗？另外，这些示例数据是什么？插图的名称+id和标签？

问题调整

添加了编辑 2（更多详细信息）。

是TrigramSimilarity 一个python 函数还是转换成SQL？如果它是 python，我认为您不能在 annotate 调用中使用它，因为您正在尝试这样做。

TrigramSimilarity 是 Django 框架 (docs.djangoproject.com/en/2.0/ref/contrib/postgres/search) 的一部分，但它需要激活 pg_trgm 扩展的 PostgreSQL 数据库（不适用于 SQLite）。

【参考方案1】：

你不能拆tags__name（至少我不知道办法）。 从您的示例中，我可以假设 2 个可能的解决方案（第一个解决方案不严格使用 Django）：

---

并非所有东西都需要严格通过 Django 我们有 Python 的能力，所以让我们使用它们：

让我们先编写查询：

from difflib import SequenceMatcher

from django.db.models import Q

def create_query(fulltext):
    illustration_names = Illustration.objects.values_list('name', flat=True)
    tag_names = Tag.objects.values_list('name', flat=True)
    query = []

    for name in illustration_names:
        score = SequenceMatcher(None, name, fulltext).ratio()
        if score == 1:
            # Perfect Match for name
            return [Q(name=name)]

         if score >= THRESHOLD:
            query.append(Q(name=name))

    for name in tag_names:
        score = SequenceMatcher(None, name, fulltext).ratio()
        if score == 1:
            # Perfect Match for name
            return [Q(tags__name=name)]

         if score >= THRESHOLD:
            query.append(Q(tags__name=name))

    return query

然后创建你的查询集：

from functools import reduce # Needed only in python 3
from operator import or_

queryset = Illustration.objects.filter(reduce(or_, create_query(fulltext)))

解码上述内容：

我们正在检查每个 Illustration 和 Tag 名称与我们的 fulltext 并使用每个名称组成一个查询，它的相似性通过 THRESHOLD。

SequenceMatcher 方法比较序列并返回一个比率 0 < ratio < 1 其中 0 表示 No-Match，1 表示 Perfect-Match。检查此答案以获取另一个用法示例：Find the similarity percent between two strings（注意：还有其他字符串比较模块，找到适合您的） Q() Django 对象，允许创建复杂查询（有关链接文档的更多信息）。 使用operator 和reduce，我们将Q() 对象列表转换为OR 分隔的查询参数：Q(name=name_1) | Q(name=name_2) | ... | Q(tag_name=tag_name_1) | ...

注意： 您需要定义一个可接受的THRESHOLD。 正如您可以想象的那样，这会有点慢，但是当您需要进行“模糊”搜索时，这是可以预料的。

---

(The Django Way:) 使用具有高相似度阈值的查询并按此相似度对查询集进行排序：

queryset.annotate(
    similarity=Greatest(
        TrigramSimilarity('name', fulltext), 
        TrigramSimilarity('tags__name', fulltext)
    )).filter(similarity__gte=threshold).order_by('-similarity')

解码上述内容：

Greatest() 接受表达式或模型字段的聚合（不要与 Django 方法 aggregate 混淆）并返回最大项。 TrigramSimilarity(word, search) 返回介于 0 和 1 之间的比率。比率越接近 1，word 与 search 越相似。 .filter(similarity__gte=threshold)，将过滤低于 threshold 的相似度。 0 < threshold < 1。您可以将阈值设置为相当高的0.6（考虑默认为0.3）。 您可以使用它来调整您的表现。 最后，按照similarity 的降序排列查询集。

【讨论】：

不幸的是，它不是这样工作的，因为 TrigramSimilarity 只能这样工作：TrigramSimilarity(columnName, searchString)。因此它会搜索标记为“动物”、“棕色”或“动物”的列。

非常感谢，我会试试看。但它看起来和我以前的不同，因为它只允许我过滤，但不能根据结果进行排序还是我错了？

@Lukas 你不能按原样排序，但稍作修改你就可以做到（sort 查询组成之前的名称列表）。

我能够解决您在选项 1 中描述的问题。非常感谢您的帮助！

@Lukas 很高兴知道:)

【参考方案2】：

我只使用TrigramSimilarity、Max 和Greatest 解决了这个问题。

我在你的问题中填充了一些数据：

from illustrations.models import Illustration, Tag
Tag.objects.bulk_create([Tag(name=t) for t in ['Animal', 'Brown', 'Animals']])
Illustration.objects.bulk_create([Illustration(name=t) for t in ['Dog', 'Cat']])
dog=Illustration.objects.get(name='Dog')
cat=Illustration.objects.get(name='Cat')
animal=Tag.objects.get(name='Animal')
brown=Tag.objects.get(name='Brown')
animals=Tag.objects.get(name='Animals')
dog.tags.add(animal, brown)
cat.tags.add(animals)

我导入了所有必要的函数并初始化了fulltext：

from illustrations.models import Illustration
from django.contrib.postgres.search import TrigramSimilarity
from django.db.models.functions import Greatest
from django.db.models import Max
fulltext = 'Animal'

然后我执行了查询：

Illustration.objects.annotate(
    max_similarity=Greatest(
        Max(TrigramSimilarity('tags__name', fulltext)),
        TrigramSimilarity('name', fulltext)
    )
).values('name', 'max_similarity')

有了这个结果：

<QuerySet ['name': 'Dog', 'max_similarity': 1.0, 'name': 'Cat', 'max_similarity': 0.666667]>

这是从 PostgreSQL 执行的 SQL 查询：

SELECT "illustrations_illustration"."name", GREATEST(MAX(SIMILARITY("illustrations_tag"."name", 'Animal')), SIMILARITY("illustrations_illustration"."name", 'Animal')) AS "max_similarity"
FROM "illustrations_illustration"
LEFT OUTER JOIN "illustrations_illustration_tags" ON ("illustrations_illustration"."id" = "illustrations_illustration_tags"."illustration_id")
LEFT OUTER JOIN "illustrations_tag" ON ("illustrations_illustration_tags"."tag_id" = "illustrations_tag"."id")
GROUP BY "illustrations_illustration"."id", SIMILARITY("illustrations_illustration"."name", 'Animal')

您可以使用max_similarity 注释来过滤或排序您的结果。