关于TF-IDF的解释

Posted 2021-01-16 cxygg

TF：term frequency ，词频 。指的是 term 出现的评率。在 一般来说次出现几次 词频 就是 几。但是如果这个词出现次数很少，但是 这个index 的 文档很多。这时候就不合理了。

所以  一般 TF = 词条在文档出现的次数 / 文档总词数。

IDF：倒排索引的频率。 log (   docment 数量/ (出现这个词条的 文档数 +1) )， IDF 描述的是 某个词在 倒排索引中的频率，说白了就是描述这词条在 倒排 所占的权重（相对所有词的权重）。这个权重乘 TF 就是这个 docment 的评分。

 

备注：term，在 而是 里面你是一个  不分词的 最小词条。