用半监督算法做文本分类

Posted 2021-01-01 lookfor404

作者：炼己者

欢迎大家访问 我的简书 以及 我的博客
本博客所有内容以学习、研究和分享为主，如需转载，请联系本人，标明作者和出处，并且是非商业用途，谢谢！

---

摘要：本文主要讲述了用半监督算法做文本分类(二分类)，主要借鉴了sklearn的一个例子——用半监督算法做数字识别 。先说结论，这是一个失败的例子，训练到第15000条就不行了，就报错了。如果你的数据量不是很大的话，可以操作一下。这里面有很多值得学习的地方，尤其是关于文本的预处理。后续还会更新，把这条路打通。

---

一. 操作流程

• 一共100万条数据，标注7000条，剩下的全部标注为-1
• 对文本进行预处理(jieba分词，去掉停用词等操作)
• 用gensim库将处理好的文本转为TFIDF向量
• 利用scipy库转换TFIDF向量的格式，使其可以被sklearn库的算法包训练
• 把预处理的数据输入到模型中进行训练
• 得到前500个不确定的数据，对其进行人工标注，然后再添加回训练集
• 重复以上过程，直到你的分类器变得好，符合你的要求

二. 正文

前面的jieba分词，去停用词的操作我就赘述了，比较容易。在这里就分享一下怎么把gensim训练的TFIDF向量转为sklearn库算法包所要求的格式吧。

说到这里，大家肯定会问，干啥这么麻烦，直接调用sklearn计算TFIDF不就完了。原因很简单，一开始我也是这么干的，然后报了内存错误，当时我猜测是因为向量的维度太大了，因为sklearn计算出来的TFIDF向量每句话的维度达到了30000多维，所以我打算借用gensim来训练TFIDF向量，它有个好处，就是可以指定维度的大小。

那么如何计算TFIDF向量呢？
大家也可以看这篇文章——用不同的方法计算TFIDF值

1. 用gensim训练TFIDF向量，并且保存起来，省的你下次用的时候还要再跑一遍代码

from gensim import corpora
dictionary = corpora.Dictionary(word_list)
new_corpus = [dictionary.doc2bow(text) for text in word_list]

from gensim import models
tfidf = models.TfidfModel(new_corpus)
tfidf.save(‘my_model.tfidf‘)

2.载入模型,训练你的数据，得到TFIDF向量

tfidf = models.TfidfModel.load(‘my_model.tfidf‘)
tfidf_vec = []
for i in range(len(words)):
    string = words[i]
    string_bow = dictionary.doc2bow(string.split())
    string_tfidf = tfidf[string_bow]
    tfidf_vec.append(string_tfidf)

此时得到的TFIDF向量是这样的

• 元组的形式——(数据的id，TFIDF向量)
• 这样的格式sklearn的算法包是无法训练的，怎么办？

[[(0, 0.44219328927835233),
  (1, 0.5488488134902755),
  (2, 0.28062764931589196),
  (3, 0.5488488134902755),
  (4, 0.3510600763648036)],
 [(5, 0.2952063480959091),
  (6, 0.3085138762011414),
  (7, 0.269806482343891),
  (8, 0.21686460370108193),
  (9, 0.4621642239026475),
  (10, 0.5515758504022944),
  (11, 0.4242816486479956)],
......]

3.利用lsi模型指定维度

lsi_model = models.LsiModel(corpus = tfidf_vec,id2word = dictionary,num_topics=2)
lsi_vec = []
for i in range(len(words)):
    string = words[i]
    string_bow = dictionary.doc2bow(string.split())
    string_lsi = lsi_model[string_bow]
    lsi_vec.append(string_lsi)

此时的TFIDF向量是这样的

[[(0, 9.98164139346566e-06), (1, 0.00017488533996265734)],
 [(0, 0.004624808817003378), (1, 0.0052712355563472625)],
 [(0, 0.005992863818284904), (1, 0.0028891269605347066)],
 [(0, 0.008813713819377964), (1, 0.004300294830187425)],
 [(0, 0.0010709978891676652), (1, 0.004264312831567625)],
 [(0, 0.005647948200006063), (1, 0.005816420698368305)],
 [(0, 1.1749284917071102e-05), (1, 0.0003525210498926822)],
 [(0, 0.05046596444596279), (1, 0.03750969796637345)],
 [(0, 0.0007876011346475033), (1, 0.008538972615602887)],
......]

4.通过scipy模块将数据处理为sklearn可训练的格式

from scipy.sparse import csr_matrix
data = []
rows = []
cols = []
line_count = 0
for line in lsi_vec:
    for elem in line:
        rows.append(line_count)
        cols.append(elem[0])
        data.append(elem[1])
    line_count += 1
lsi_sparse_matrix = csr_matrix((data,(rows,cols))) # 稀疏向量
lsi_matrix = lsi_sparse_matrix.toarray() # 密集向量

lsi_matrix如下所示

• 这便是符合sklearn的格式要求了

Out[53]:
array([[9.98164139e-06, 1.74885340e-04],
       [4.62480882e-03, 5.27123556e-03],
       [5.99286382e-03, 2.88912696e-03],
       ...,
       [1.85861559e-02, 3.24888917e-01],
       [8.07737902e-04, 5.45659458e-03],
       [2.61926460e-03, 2.30210522e-02]])

5.调用sklearn的半监督算法对数据进行训练

• 通过以下代码便可以得到前2000条标签最不确定的数据的索引，然后根据索引找到对应的数据，就可以对其重新人工标注了
• 把标好的数据再加回去，循环往复，直到你满意为止
• 当然这里面你得自己标注1000条数据，然后再把它们赋值为-1，假装不知道，等训练完，得到预测的结果，再与你自己标注的真实值进行比对计算，就可以知道效果的好坏了

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
from sklearn.semi_supervised import label_propagation

y = list(result.label.values)
from scipy.sparse.csgraph import *

n_total_samples = len(y) # 1571794
n_labeled_points = 7804 # 标注好的数据共10条，只训练10个带标签的数据模型
unlabeled_indices = np.arange(n_total_samples)[n_labeled_points:] # 未标注的数据

lp_model = label_propagation.LabelSpreading() # 训练模型
lp_model.fit(lsi_matrix,y)
    
predicted_labels = lp_model.transduction_[unlabeled_indices] # 预测的标签
    
    # 计算被转换的标签的分布的熵
    # lp_model.label_distributions_ : array,shape=[n_samples,n_classes]
    # Categorical distribution for each item
    
pred_entropies = stats.distributions.entropy(
lp_model.label_distributions_.T)
    
    # 选择分类器最不确定的前2000位数字的索引
uncertainty_index = np.argsort(pred_entropies)[::1]
uncertainty_index = uncertainty_index[
    np.in1d(uncertainty_index,unlabeled_indices)][:2000] 

print(uncertainty_index)

三. 结果与讨论

我最后没有继续往下做了，因为我的数据量很大，只能训练这么点数据没有意义，以上便是我的思路，希望会对大家有所帮助，后续我会更新新的方法来操作这个事情