如何抓取语义相似的句子

Posted 2023-02-16

【中文标题】如何抓取语义相似的句子

【英文标题】：how to crawl semantically similar sentences

【发布时间】：2020-09-25 14:04:26

【问题描述】：

我想为机器学习任务创建一个语料库。我有一个小的文本数据集，想从网络上抓取类似的句子。我使用了带有 Bert 相关模型、doc2vec 和 spacy 相似度的 sentence_transformers 包来测量相似度。我将阈值设置为 85%，但相似度得分高于阈值的句子并不真正相关。如何在python中从网络上抓取类似的句子？

【问题讨论】：

请在您的问题中包含minimal reproducible example。现在你的问题不够集中，无法回答。

【参考方案1】：

我认为您应该在大型语料库上训练一个大型模型，然后使用该模型生成随机句子。 gensim 库有几个 corpora link 可以用来查找相似句子或训练生成相似句子的模型，here 是怎么做的。