TF-IDF算法

Posted 2023-01-15 CrissChan

TF-IDF算法

TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术，常用于挖掘文章中的关键词，而且算法简单高效，常被工业用于最开始的文本数据清洗。

TF-IDF有两层意思，一层是"词频"（Term Frequency，缩写为TF），另一层是"逆文档频率"（Inverse Document Frequency，缩写为IDF）。

TF-IDF其实是两层意思，TF是统计高频词，但是可以剔除一些例如“的”，“是”等的词（这些词叫做停用词）。IDF会给常见的词较小的权重，它的大小与一个词的常见程度成反比。例如我们说“量化系统架构设计”，那么"量化"、“系统”、"架构"中系统虽然是一个词频很高的词，但是在这里就应该是一个很常见的词，因此可以基于较小的权重。

TF*IDF得到一个TF-IDF的值，某个词在文章中的TF-IDF越大，那么一般而言这个词在这篇文章的重要性会越高，所以通过计算文章中各个词的TF-IDF，由大到小排序，排在最前面的几个词，就是该文章的关键词。

算法的计算步骤如下：

• 1 计算词频

• 2 词频标准化

文章有长短之分，为了便于不同文章的比较，进行"词频"标准化

• 3 计算IDF

这部分需要一个语料库（corpus0，用来模拟语言的使用环境

如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0。分母之所以要加1，是为了避免分母为0（即所有文档都不包含该词）。log表示对得到的值取对数（在数学中，对数是对求幂的逆运算，正如除法是乘法的逆运算，反之亦然。 这意味着一个数字的对数是必须产生另一个固定数字（基数）的指数。）。

• 4 计算TF-IDF

TF-IDF与一个词在文档中的出现次数成正比，与该词在整个语言中的出现次数成反比。所以，自动提取关键词的算法就很清楚了，就是计算出文档的每个词的TF-IDF值，然后按降序排列，取排在最前面的几个词。

优缺点

TF-IDF的优点是简单快速，而且容易理解。缺点是有时候用词频来衡量文章中的一个词的重要性不够全面，有时候重要的词出现的可能不够多，而且这种计算无法体现位置信息，无法体现词在上下文的重要性。如果要体现词的上下文结构，那么你可能需要使用word2vec算法来支持。

实现代码