使用 scikit-learn 进行文本分类：如何从 pickle 模型中获取新文档的表示

Posted 2023-03-12

【中文标题】使用 scikit-learn 进行文本分类：如何从 pickle 模型中获取新文档的表示

【英文标题】：Text Classification with scikit-learn: how to get a new document's representation from a pickle model

【发布时间】：2018-07-12 19:47:21

【问题描述】：

我有一个文档二项式分类器，它使用文档训练集的 tf-idf 表示并对其应用逻辑回归：

lr_tfidf = Pipeline([('vect', tfidf),('clf', LogisticRegression(random_state=0))])

lr_tfidf.fit(X_train, y_train)

我将模型保存在 pickle 中并用它来分类新文档：

text_model = pickle.load(open('text_model.pkl', 'rb'))
results = text_model.predict_proba(new_document)

如何在不显式计算的情况下获得模型用于此新文档的表示（特征 + 频率）？

编辑：我试图更好地解释我想要得到的东西。 文我使用predict_proba，我猜新文档表示为术语频率的向量（根据存储的模型中使用的规则），这些频率乘以逻辑回归模型学习的系数来预测类别。我对吗？如果是，我怎样才能得到这个新文档的术语和术语频率，正如 predict_proba 所使用的那样？

我正在使用 sklearn v 0.19

【问题讨论】：

Tfidf 传统上是术语频率乘以文档频率的 BOW 向量。您也许可以从 tfidf 内部对象数据中分解原始计数。

你能提供代码吗？但是，原始计数还不够……我需要文档每个术语的实际 tfidf 值。

如果你正在酸洗管道，那么它包含vect的tfidf模型，所以你可以使用它！

当你pickle管道时，它只包含训练集中的文档而不是new_document。

TF-IDF 向量由语料库（训练数据）制成，我不确定您在寻找什么

【参考方案1】：

据我从 cmets 了解到，您需要从管道内部访问 tfidfVectorizer。这可以通过以下方式轻松完成：

tfidfVect = text_model.named_steps['vect']

现在您可以使用矢量化器的transform() method 来获取 tfidf 值。

tfidf_vals = tfidfVect.transform(new_document)

tfidf_vals 将是一个单行稀疏矩阵，其中包含在new_document 中找到的术语的 tfidf。要检查此矩阵中存在哪些术语，您需要使用tfidfVect.get_feature_names()。

【讨论】：

来自 cmets，这将是 @eugenio 正在寻找的答案，我同意。获取管道中所需的步骤并使用它进行矢量化。

谢谢，这正是我所需要的。唯一的问题是保存在模型中但无法从 tfidfVect 访问的一些额外的预处理活动（例如自定义词干分析器），我认为最简单的解决方案是在拟合之前应用它们。问题：当我说通过将我得到的每个 tfidf 与相应的逻辑回归系数相乘时，我可以说该术语对将新文档分类为 1 类的影响有多大？它是一个二项式分类器，可用类别为 0 或 1。