将特征名称更新到 scikit TFIdfVectorizer

Posted 2023-03-12

【中文标题】将特征名称更新到 scikit TFIdfVectorizer

【英文标题】：Updating the feature names into scikit TFIdfVectorizer

【发布时间】：2014-09-29 00:36:26

【问题描述】：

我正在尝试这段代码

from sklearn.feature_extraction.text import TfidfVectorizer
import numpy as np

train_data = ["football is the sport","gravity is the movie", "education is imporatant"]
vectorizer = TfidfVectorizer(sublinear_tf=True, max_df=0.5,
                                                 stop_words='english')

print "Applying first train data"
X_train = vectorizer.fit_transform(train_data)
print vectorizer.get_feature_names()

print "\n\nApplying second train data"
train_data = ["cricket", "Transformers is a film","AIMS is a college"]
X_train = vectorizer.transform(train_data)
print vectorizer.get_feature_names()

print "\n\nApplying fit transform onto second train data"
X_train = vectorizer.fit_transform(train_data)
print vectorizer.get_feature_names()

这个输出是

Applying first train data
[u'education', u'football', u'gravity', u'imporatant', u'movie', u'sport']


Applying second train data
[u'education', u'football', u'gravity', u'imporatant', u'movie', u'sport']


 Applying fit transform onto second train data
[u'aims', u'college', u'cricket', u'film', u'transformers']

我使用 fit_transform 将第一组数据提供给矢量化器，因此它给了我像 [u'education', u'football', u'gravity', u'imporatant', u'movie', u'sport'] 这样的特征名称，之后我将另一个训练集应用到相同的矢量化器，但它给了我相同的特征名称，因为我没有使用 fit 或 fit_transform .但我想知道如何在不覆盖以前的 oncs 的情况下更新矢量化器的功能。如果我再次使用 fit_transform ，以前的功能将被覆盖。所以我想更新矢量化器的特征列表。所以我想要像[u'education', u'football', u'gravity', u'imporatant', u'movie', u'sport',u'aims', u'college', u'cricket', u'film', u'transformers'] 这样的东西我怎么能得到它。

【参考方案1】：

在 sklearn 术语中，这称为部分拟合，您不能使用 TfidfVectorizer 来做到这一点。有两种解决方法：

连接两个训练集并重新向量化 使用HashingVectorizer，它支持部分拟合。但是，由于是散列功能，因此没有 get_feature_names 方法，因此不保留原始内容。另一个优点是内存效率更高。

第一种方法的例子：

from sklearn.feature_extraction.text import TfidfVectorizer
import numpy as np

train_data1 = ["football is the sport", "gravity is the movie", "education is important"]
vectorizer = TfidfVectorizer(stop_words='english')

print("Applying first train data")
X_train = vectorizer.fit_transform(train_data1)
print(vectorizer.get_feature_names())

print("\n\nApplying second train data")
train_data2 = ["cricket", "Transformers is a film", "AIMS is a college"]
X_train = vectorizer.transform(train_data2)
print(vectorizer.get_feature_names())

print("\n\nApplying fit transform onto second train data")
X_train = vectorizer.fit_transform(train_data1 + train_data2)
print(vectorizer.get_feature_names())

输出：

Applying first train data
['education', 'football', 'gravity', 'important', 'movie', 'sport']

Applying second train data
['education', 'football', 'gravity', 'important', 'movie', 'sport']

Applying fit transform onto second train data
['aims', 'college', 'cricket', 'education', 'film', 'football', 'gravity', 'important', 'movie', 'sport', 'transformers']

【讨论】：

你的两种方法都很好。我发现 HashingVectorizer 对我的目的很有用。谢谢你的回答:)

【参考方案2】：

我在搜索 OP 提出的同一问题时发现了这个问题。就像mbatchkarov 一样，Scikit-Learn 的 TfidfVectorizer 本身并不支持部分拟合。

HashingVectorizer 通常是一个不错的选择，但它确实取决于您的用例。具体来说，如果您非常关心精确地表示不常用的术语，那么冲突会损害性能。

所以我继续为 TfidfVectorizer 和 CountVectorizer 编写了自己的“partial_fit”实现（请参阅here）。希望它对其他到达这篇文章的人有用。请注意，这种部分拟合确实改变了向量器给出的输出向量的维度，因为整个点是更新词汇表（所以在管道中使用时要考虑到这一点）。 p>

【讨论】：

很酷的实现。您应该尝试将其作为 PR 提交给 sklearn，看看这是否对上游有用。