scikit-learn 可以处理多少功能？

Posted 2023-03-12

【中文标题】scikit-learn 可以处理多少功能？

【英文标题】：How many features can scikit-learn handle?

【发布时间】：2013-04-25 22:56:13

【问题描述】：

我有一个 [66k, 56k] 大小（行、列）的 csv 文件。它是一个稀疏矩阵。我知道 numpy 可以处理那个大小的矩阵。想知道根据大家的经验，scikit-learn算法能轻松处理多少特征？

【问题讨论】：

我正在做的任务是回归。但是了解 sklearn 如何处理一般的高维数据会很有用。

【参考方案1】：

取决于估算器。在这种规模下，线性模型仍然表现良好，而 SVM 可能需要很长时间才能训练（并且忘记随机森林，因为它们无法处理稀疏矩阵）。

我个人使用LinearSVC、LogisticRegression 和SGDClassifier 处理大小约为 300k × 330 万的稀疏矩阵，没有任何问题。请参阅@amueller 的scikit-learn cheat sheet，为手头的工作选择合适的估算器。

全面披露：我是一名 scikit-learn 核心开发人员。

【参考方案2】：

如果您需要经常训练模型，一些线性模型（回归、SGD、贝叶斯）可能是您的最佳选择。

尽管在运行任何模型之前，您可以尝试以下操作

1) 特征缩减。您的数据中是否有可以轻松删除的特征？例如，如果您的数据是基于文本或评级的，则有许多已知选项可用。

2) 学习曲线分析。也许您只需要一小部分数据来训练模型，然后您只需要适应您的数据或获得微小的准确性提高。

这两种方法都可以让您大大减少所需的训练数据。