文本特征提取函数: 词袋法与TF-IDF(代码理解)

Posted 2021-03-03 dani0107

文本特征提取函数一：CountVectorizer()

　　CountVectorizer()函数只考虑每个单词出现的频率；然后构成一个特征矩阵，每一行表示一个训练文本的词频统计结果。其思想是，先根据所有训练文本，不考虑其出现顺序，只将训练文本中每个出现过的词汇单独视为一列特征，构成一个词汇表(vocabulary list)，该方法又称为词袋法(Bag of Words)。

　　举例解释说明：

from sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizer

texts=["orange banana apple grape","banana apple apple","grape", ‘orange apple‘] 
cv = CountVectorizer()
cv_fit=cv.fit_transform(texts)
print(cv.vocabulary_)
print(cv_fit)
print(cv_fit.toarray())

　　输出如下：

{‘orange‘: 3, ‘banana‘: 1, ‘apple‘: 0, ‘grape‘: 2} #这里是根据首字母顺序，将texts变量中所有单词进行排序，apple首字母为a所以排第一，banana首字母为b所以排第二
  (0, 2)    1   # (0, 2)  1 中0表示第一个字符串"orange banana apple grape"；2对应上面的‘grape‘: 2；1表示出现次数1。整体理解为第一字符串的顺序为二的词语在出现次数为1
  (0, 0)    1
  (0, 1)    1
  (0, 3)    1
  (1, 0)    2
  (1, 1)    1
  (2, 2)    1
  (3, 0)    1
  (3, 3)    1
[[1 1 1 1]     # 第一个字符串，排名0,1,2,3词汇（apple，banana，grape，orange）出现的频率都为1
 [2 1 0 0]    #第二个字符串，排名0,1,2,3词汇（apple，banana，grape，orange）出现的频率为2,1,00
 [0 0 1 0]
 [1 0 0 1]]

文本特征提取函数二：TfidfVectorizer()

　　TfidfVectorizer()基于tf-idf算法。此算法包括两部分tf和idf，两者相乘得到tf-idf算法。

　　TF算法统计某训练文本中，某个词的出现次数，计算公式如下：

 或 

　　IDF算法，用于调整词频的权重系数，如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0。

　　TF-IDF算法=TF算法 * IDF算法。

　　我们依旧采用上面的例子：

from sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizer

texts=["orange banana apple grape","banana apple apple","grape", ‘orange apple‘]
cv = TfidfVectorizer()
cv_fit=cv.fit_transform(texts)
print(cv.vocabulary_)
print(cv_fit)
print(cv_fit.toarray())

　　输出如下：

{‘orange‘: 3, ‘banana‘: 1, ‘apple‘: 0, ‘grape‘: 2}
  (0, 3)    0.5230350301866413 #（0,3）表示第一个字符串的orange词语，其TF=1/4，IDF中总样本和包含有改词的文档数，目前也不知道是如何得出，望有知道的人能评论告之。最后得出结果0.5230350301866413
  (0, 1)    0.5230350301866413
  (0, 0)    0.423441934145613
  (0, 2)    0.5230350301866413
  (1, 1)    0.5254635733493682
  (1, 0)    0.8508160982744233
  (2, 2)    1.0
  (3, 3)    0.7772211620785797
  (3, 0)    0.6292275146695526
[[0.42344193 0.52303503 0.52303503 0.52303503]
 [0.8508161  0.52546357 0.         0.        ]
 [0.         0.         1.         0.        ]
 [0.62922751 0.         0.         0.77722116]]

 

原文链接：https://blog.csdn.net/lyn5284767/article/details/85316931