python [NLTK实现TF-IDF]＃TF-IDF＃算法＃数据挖掘＃文本挖掘＃文本分类

Posted 2021-05-09

from nltk.text import TextCollection 
# ⾸首先, 把所有的⽂文档放到TextCollection类中。 
# 这个类会⾃自动帮你断句句, 做统计, 做计算 
corpus = TextCollection(['this is sentence one',
                         'this is sentence two',
                         'this is sentence three']) 
# 直接就能算出tfidf 
# (term: ⼀一句句话中的某个term, text: 这句句话) 
print(corpus.tf_idf('this', 'this is sentence four')) 
# 0.444342 
# 同理理, 怎么得到⼀一个标准⼤大⼩小的vector来表示所有的句句⼦子?
# 对于每个新句句⼦子 
new_sentence = 'this is sentence five'
# 遍历⼀一遍所有的vocabulary中的词: 
for word in standard_vocab:    
  print(corpus.tf_idf(word, new_sentence))    
# 我们会得到⼀一个巨⻓长(=所有vocab⻓长度)的向量量