从短文本中提取和排名关键字

Posted

技术标签:

【中文标题】从短文本中提取和排名关键字【英文标题】:Extracting and ranking keywords from short text 【发布时间】:2019-09-07 00:31:49 【问题描述】:

我正在做一个从短文本(3-4 个句子)中提取关键字的项目。使用spaCy 库,我提取名词短语和NER 并将它们用作关键字。但是,我想根据它们对原始文本的重要性对它们进行排序。

我尝试了标准的信息检索方法,例如 tfidf,甚至还尝试了一些基于图形的算法,但是文本如此短,结果并不是那么好。

我在想也许使用带有注意力机制的神经网络可以帮助我对这些关键词进行排名。有什么方法可以使用 spaCy 附带的预训练模型进行某种排名?

【问题讨论】:

【参考方案1】:

最大边际相关性怎么样? http://www.cs.cmu.edu/~jgc/publication/The_Use_MMR_Diversity_Based_LTMIR_1998.pdf

【讨论】:

以上是关于从短文本中提取和排名关键字的主要内容,如果未能解决你的问题,请参考以下文章

用Py做文本分析5:关键词提取

从文本中提取关键字

3 中文文本中的关键字提取

向量化与HashTrick在文本挖掘中预处理中的体现

从文本块中提取相关标签/关键字

提高关键词排名的28个SEO技巧