使用 Sklearn 进行多标签文本分类

Posted

技术标签:

【中文标题】使用 Sklearn 进行多标签文本分类【英文标题】:Multilabel text classification with Sklearn 【发布时间】:2020-09-02 06:07:30 【问题描述】:

为了解决我在 Python 中的多标签文本分类问题,我已经尝试了所有我能想到的方法,我非常感谢任何帮助。我使用 multilabelbinarizer 将我的结果基于here 和此网络page 。

我正在尝试预测用西班牙语编写的数据集中的某些类别,其中我有 7 个不同的标签,其中我的数据集显示为here。我为每一行写了一条消息和不同的标签。每条短信都有一个或两个标签,具体取决于消息。

df2=df.copy()
df2.drop(["mensaje", "pregunta_parseada", "tags_totales"], axis=1, inplace=True)

# Divide into train and test
X_train, X_test, y_train, y_test = train_test_split(df['pregunta_parseada'], 
                                                df2,
                                                test_size=0.15, 
                                                random_state=42)

from sklearn.feature_extraction.text import TfidfVectorizer, CountVectorizer

features_train = tfidf.fit_transform(X_train).toarray()
labels_train = y_train

features_test = tfidf.transform(X_test).toarray()
labels_test = y_test


from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
from sklearn.metrics import accuracy_score
from sklearn.multiclass import OneVsRestClassifier


lr = LogisticRegression(solver='sag', n_jobs=1)
clf = OneVsRestClassifier(lr)

# fit model on train data
clf.fit(features_train, labels_train)

# make predictions for validation set
y_pred = clf.predict(features_test)

到目前为止,一切都很好,但是当我尝试验证问题时,似乎几乎每个类别都被归类为“无”

y_pred[2]
accuracy_score(y_test,y_pred)

输出

array([0, 0, 0, 0, 0, 0, 0])
0.2574626865671642

我也尝试了 MultiLabelBinarizer,但我遇到了同样的问题,我做错了什么?尝试使用 MultiLabelBinarizer 产生了以下结果:

z=[["Generico"],["Mantenimiento"],["Motor"],["Generico"],["Motor"], 
["Generico"],["Motor"],["Generico","Configuracion"],["Generico"], 
["Motor"],["Consumo"],...,["Consumo"]]

from sklearn.preprocessing import MultiLabelBinarizer
mlb = MultiLabelBinarizer()
y=mlb.fit_transform(z)

message = df["pregunta_parseada"].to_numpy()
X_train, X_test, y_train, y_test = train_test_split(message, 
                                                y, 
                                                test_size=0.15, 
                                                random_state=42)
classifier = Pipeline([
('vectorizer', CountVectorizer()),
('tfidf', TfidfTransformer()),
('clf', OneVsRestClassifier(LinearSVC()))])

 classifier.fit(X_train, y_train)
 predicted = classifier.predict(X_test)
 accuracy_score(y_test, predicted)
 #predicted[150]
 all_labels = mlb.inverse_transform(predicted)
 all_labels

具有以下输出

 (),
 (),
 (),
 (),
 ('Generico',),
 (),
 (),
 (),
 (),
 ('Compra',),
 ('Motor', 'extras'),

非常感谢您的帮助

【问题讨论】:

您确定您处于多标签设置中(一个样本可以同时属于多个类)而不是单标签多类(一个样本可以属于一个且仅属于一个类)? 我刚刚编辑了我的消息,以显示我的问题是多标签分类。我将不胜感激任何帮助。谢谢! 【参考方案1】:

我认为问题在于您的数据。它可能太稀疏了。

我看到你在使用OneVsRestClassifier,所以它构建了多个二进制分类器来决定标签。

我认为,您的代码中没有直接的错误,但模型的选择不适合该任务。

这些二元分类器的问题是数据不平衡,假设即使每个类 (n) 的样本数完全相同 (c),二元分类器也会将数据划分为 n vs (n-1) x c 正负类样本。

因此,对于所有分类器,显然负类中的数据多于正类。它们偏向于负类,因此每个二元分类器都倾向于对大多数情况进行预测(All in oneVsall 场景)。

如果您不想更改设置,那么您可以做的一件事是:

    使用predict_proba 代替predict 来获取每个类的概率,并设置一个较低的阈值(

您的测试准确度很低,可能需要重新调整阈值以获得更好的准确度。

    尽可能使用基于深度学习的方法,例如 Bert,这将提供更好的性能。

【讨论】:

以上是关于使用 Sklearn 进行多标签文本分类的主要内容,如果未能解决你的问题,请参考以下文章

基于协同训练的半监督文本分类算法

使用 scikit-learn 进行多标签文本分类,使用哪些分类器?

这是正确使用sklearn分类报告进行多标签分类报告吗?

构建一个 sklearn 文本分类器并使用 coremltools 进行转换

使用 SKlearn 进行多标签分类 - 如何使用验证集?

使用 SVM 对文本数据进行多标签分类