TF-IDF小记

Posted 2020-12-03 wuxilc

　　关于机器学习,自己也是半路出家,没啥基础, 不过知识也是一点一点积累起来的。tf-idf是在处理文本中很常用的一个公式, 下面记录一下自己对它的理解:

　　tf :计算某个词在某个文档中的词频(即某个词在它所在的行中出现的次数，在spark ml的表示中,一行代表一个文档)。

　　idf: 逆向文档频率, 公式为: idf = log( (文档个数,即行数)+1 )/((单词出现在多少个文档中)+1)

　　以前虽然看着spark的文档上对于tfidf的说明，但是一直不明白它表示的物理意义是啥，后来随着用得越来越频繁，无形之中给自己加了个理解：找出某个文档中出现多,但是在总体中出现少的

词。这种词就可以作为该文档的主题特征。

　　tfidf的表示方法还有很多的变种，但核心就是上面所说的。spark中的公式也是采用的上述形式。