tf-idf知多少？

Posted 2020-08-19 Democracy and Science

1、最完整的解释

TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

其实就是评价单词对于文件的重要性，这个重要性怎么衡量？-就是后文所说

2、关于 normalization 

是有两种 normalization的操作，叫做 instance-wise和 feature-wise的normalization：

>Normalizationしてみる(instance-wise normalization)

>Scaleを合わせてみる(feature-wise normalization)

最近在做text classificaion，所以会用到 tf-idf，这个时候一般只会做 instance-wise的，这个也就是针对每个样本的每个特征做nomalizaiton

具体为什么要做instance normalization？一段文字告诉你

According to our empirical experience, instance-wise  data normalization makes the optimization problem easier to be solved.  For example, for the following vector x (0, 0, 1, 1, 0, 1,0, 1, 0), the standard data normalization divides each element of x by by the 2-norm of x. The normalized x becomes (0, 0, 0.5, 0.5,0, 0.5, 0, 0.5, 0)