R中的SVM特征选择

Posted 2023-03-12

【中文标题】R中的SVM特征选择

【英文标题】：SVM Feature Selection in R

【发布时间】：2013-02-17 10:24:48

【问题描述】：

我正在训练一个 SVM 分类器。现在，我有大约 4000 个特征，但其中很多是多余的/没有信息的。我想将模型中的特征减少到大约 20-50 个。我想使用贪婪的爬山，每次减少1个特征。 移除的特征应该是最不重要的特征。训练一个 SVM 后，如何获得特征重要性的排名？如果我在 R 中使用 libsvm，我如何获得每个功能的权重，或其他类似类型的重要性指标？谢谢！

【问题讨论】：

来自 CrossValidated 的这个问题Variable Importance from SVM 回答了相关问题。

具体来说，如果我在e1071 R包中使用libsvm，如何获取每个属性的权重？谢谢！

另见我的answer to a related question

【参考方案1】：

我会先使用 PCA（主成分分析）降低问题的维数，然后再应用 SVM。参见，例如，Andrew Ng's lecture videos