如何对相似的类别进行分组？

Posted 2023-03-12

【中文标题】如何对相似的类别进行分组？

【英文标题】：How do I group similar categories?

【发布时间】：2019-09-26 16:16:28

【问题描述】：

我有大约 1200 个电视节目类别……例如戏剧、新闻、体育、体育非赛事、戏剧医疗、戏剧犯罪……等等

我如何使用 NLP 以便将戏剧、戏剧医学和戏剧犯罪组和体育、体育非事件等组放在一起等等......基本上最终目标是减少 1200 个类别到很少的大类。

到目前为止，我已经使用词袋构建了一个包含 146 个单词的字典..

【问题讨论】：

戏剧的所有类别是否都以“戏剧”开头，其他组也类似？

请熟悉这些常见问题并重新发布您的问题 -- (1) 我如何提出一个好的问题 - ***.com/help/how-to-ask -- (2) 如何创建一个最小、完整和可验证的示例- ***.com/help/mcve

【参考方案1】：

如果您正在寻找 NLP 软件包，您可以查看一些模块，其中第一个是：

SciKit-Learn

它有大量的类和有序且易于理解的文档，但不使用神经网络进行文本处理。还有：

Natural Language Toolkit

它有一个明显的优势，即最发达、最完整，但速度很慢。

SpaCy

它非常快，但速度的代价是不像我提到的其他库那样灵活。到目前为止，我相信它支持 7 种语言，但作为一个起点，它可能就足够了。

不过，对于您希望通过 NLP 实现的目标，您最好的选择可能是 NLTK。有一个great tutorial playlist from sentdex。祝你好运！

【参考方案2】：

使用预训练模型生成嵌入，然后您可以使用 t-SNE 或 UMAP 等聚类算法对嵌入进行聚类。我推荐fasttext 或spacy，spacey 是最容易使用的。