使用 PCA 进行文本分类的降维

Posted 2023-03-12

【中文标题】使用 PCA 进行文本分类的降维

【英文标题】：Dimensionality reduction using PCA for text classification

【发布时间】：2018-04-15 02:21:28

【问题描述】：

我正在对文档进行文本分类，我有大约 4k 个类别和 110 万个数据样本。

我正在构建包含每个文档中单词频率的矩阵。 矩阵示例如下所示

            X1     X2     X3        X4 
D1          1      1       0        1
D2          1      1       1        0
D3          1      1       0        0
D4          1      1       1        1
D5          0      0       1        0
D6          0      0       1        1

在上述矩阵中，X1 和 X2 是冗余特征，因为它们在所有行中具有相同的值。

首先，当我从 110 万个数据中构造矩阵时，我将得到具有 90k 个特征的巨大矩阵。

为了降低矩阵维度，我使用了降维技术 PCA 我使用了 TruncatedSVD 来计算 PCA，因为我使用的是稀疏矩阵。

我正在使用下面的代码使用 Sckit 学习 PCA 的实现

from sklearn.decomposition import TruncatedSVD
X = [[1,1,0,1], [1,1,1,0], [1,1,0,0],[1,1,1,1],[0,0,1,0],[0,0,1,1]]
svd = TruncatedSVD(n_components=3)
svd.fit(X)  
X_new=svd.fit_transform(X)

X_new 的输出是

array([[ 1.53489494, -0.49612748, -0.63083679],
   [ 1.57928583, -0.04762643,  0.70963934],
   [ 1.13759356, -0.80736818,  0.2324597 ],
   [ 1.97658721,  0.26361427, -0.15365716],
   [ 0.44169227,  0.75974175,  0.47717963],
   [ 0.83899365,  1.07098246, -0.38611686]])

这是我得到的降维 我将 X_new 作为朴素贝叶斯分类器的输入。

clf = GaussianNB()
model=clf.fit(X_new, Y)

对于 110 万个样本，我得到以下输出：

No_of_components
(“n_components” parameter)           accuracy
   1000                                6.57%
   500                                 7.25%
   100                                 5.72%

我的准确率非常低，

以上步骤是否正确？

我需要进一步包括哪些内容？

【问题讨论】：

您知道数据中类别的分布吗？

我将分布理解为类别的频率。据此，在 4k 个类别中，约 400 个类别的数据超过 500 个，约 750 个类别的数据为 100-400 个，其余类别的数据低于 10

危险在于，如果您的分布严重偏斜，则会更加重视那些更频繁的功能。如果是这种情况，请考虑对数据进行进一步的转换，例如Z 分数。

【参考方案1】：

准确度较低，因为在维度还原过程中会丢失大部分信息。

您可以通过sum(svd.explained_variance_ratio_ )查看。这个数字，如@9​​87654323@，衡量模型的精度：如果所有信息都由 SVD 保留，则等于 1，如果没有信息保留，则等于 0。在您的情况下（90K 特征的 3 个维度），我预计它的数量级为 0.1%。

对于您的问题，我会推荐两种策略之一。

1。不要在数学上减少尺寸。相反，对您的文本进行语言预处理：删除停用词、词干或词形还原其余词，并删除出现次数少于k 次的词。它将您的维度从 90K 提高到 15K 左右，而不会严重丢失信息。

在这些特征上，您可以训练一个稀疏模型（例如 SGDClassifier 具有巨大的 L1 惩罚），这可以将实际使用的特征数量减少到 1K 左右，但仍然具有良好的准确性。在输入线性分类器之前，使用 TF-IDF 转换字数有时会有所帮助。

2。使用预训练的降维器，如 word2vec 或 fastText，从文本中提取特征。互联网上有针对多种语言和多个维度（如 200、1000 等）的预训练 word2vec 模型。

【讨论】：

我一直认为fastText 是一个分类器，你能提供一些我可以看到如何使用它作为降维器的来源吗？

fastText 首先计算词嵌入，然后使用它们进行分类。您只需要嵌入。请参阅此处关于生成文本（而不是单词）嵌入的讨论：github.com/facebookresearch/fastText/issues/26