e1071 的基本 SVM 问题：测试错误率与 tune 的结果不匹配

Posted 2023-03-12

【中文标题】e1071 的基本 SVM 问题：测试错误率与 tune 的结果不匹配

【英文标题】：Basic SVM issues with e1071: test error rate doesn't match up with tune's results

【发布时间】：2013-09-11 14:07:18

【问题描述】：

这似乎是一个非常基本的问题，但我似乎无法在任何地方找到答案。一般来说，我是 SVM 和 ML 的新手，我正在尝试做一些简单的练习，但结果似乎不匹配。我正在将 e1071 与 R 一起使用，并且一直在阅读 James、Witten、Hastie 和 Tibshirani 的统计学习简介。

我的问题：为什么当我使用 predict 时，我似乎没有任何分类错误，而 tune 函数的结果却显示非零错误率？ 我的代码（我正在查看三个类）：

set.seed(4)
dat <- data.frame(pop = rnorm(900, c(0,3,6), 1), strat = factor(rep(c(0,1,2), times=300)))
ind <- sample(1:900)
train <- dat[ind[1:600],]
test <- dat[ind[601:900],]

tune1 <- tune(svm, train.x=train[,1], train.y=train[,2], kernel="radial", ranges=list(cost=10^(-1:2), gamma=c(.5,1,2)))
svm.tuned <- svm(train[,2]~., data=train, kernel = "radial",  cost=10, gamma=1) # I just entered the optimal cost and gamma values returned by tune
test.pred <- predict(svm.tuned, newdata=data.frame(pop=test[,1],strat=test[,2]))

所以当我查看 test.pred 时，我发现每个值都与真正的类标签匹配。然而，当我调整模型时，它给出了大约 0.06 的错误率，无论哪种方式，0 的测试错误率对于不可分离的数据来说似乎都是荒谬的（除非我错认为这是不可分离的？）。任何澄清都会非常有帮助。 非常感谢。

【参考方案1】：

tune 函数执行 10 次交叉验证。它随机将您的训练数据分成 10 个部分，然后迭代：

选择它们中的每一个并将其称为“验证集” 选择剩余的 9 个并称它们为“训练集” 它在训练集上使用给定参数训练 SVM，并检查它在验证集上的运行情况 计算这 10 个“折叠”的平均误差

来自“tune”功能的信息就是这个平均误差。一旦选择了最佳参数，您就可以在整个集上训练模型，该集恰好比用于调整的参数大 1/9。结果，在您的特定情况下（它不经常发生）-您得到了可以完美预测您的“测试”集的分类器，并且在调整时尝试了一些较小的分类器-犯了一个小错误-这就是为什么您将获得有关不同错误的信息。

更新

看来，您实际上也在 inputs 和 labels 上训练您的模型。看看您的

svm.tuned$SV

变量，保存支持向量。

要训练 svm，只需运行

svm(x,y,kernel="...",...)

例如

svm(train$pop, train$strat, kernel="linear" )

这会导致一些错误分类（正如预期的那样，因为线性核无法完美分离此类数据）。

或者使用你的符号

svm.tuned <- svm(strat~., data=train, kernel = "radial",  cost=10, gamma=1)

请注意，您应该使用框架列的名称strat，而不是索引。

【讨论】：

那么即使这些数据是不可分离的，这个模型仍然能够完美地分类所有这些数据？这似乎有点难以置信。无论如何，感谢您阐明为什么 CV 错误率似乎总是比整体训练错误率大一点。

不可分离是什么意思？您正在使用高斯内核，它具有正确的参数将分隔 任何一致的数据集（一致 = 没有两个完全相同的点具有不同的标签）。这是无限维特征空间的结果。

非常感谢！那个更新已经解决了。还要感谢你定义了一个一致的数据集，我以前没听说过这个词。