R 插入符号保留样本和测试集 ROC

Posted 2023-03-12

【中文标题】R 插入符号保留样本和测试集 ROC

【英文标题】：R caret held-out sample and testing set ROC

【发布时间】：2017-04-17 07:24:30

【问题描述】：

我正在构建两个不同的分类器来预测二进制结果。然后我想通过使用ROC曲线和它下面的面积（AUC）来比较两个模型的结果。

我将数据集拆分为训练集和测试集。在训练集上，我执行一种交叉验证形式。从交叉验证的保留样本中，我能够为每个模型构建一条 ROC 曲线。然后我使用测试集上的模型，构建另一组 ROC 曲线。

结果是矛盾的，这让我很困惑。我不确定哪个结果是正确的，或者我是否做错了什么。保留样本ROC曲线表明RF是更好的模型，训练集ROC曲线表明SVM是更好的模型。

分析

library(ggplot2)
library(caret)
library(pROC)
library(ggthemes)
library(plyr)
library(ROCR)
library(reshape2)
library(gridExtra)

my_data <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv")

str(my_data)
names(my_data)[1] <- "Class"
my_data$Class <- ifelse(my_data$Class == 1, "event", "noevent")

my_data$Class <- factor(emr$Class, levels = c("noevent", "event"), ordered = TRUE)

set.seed(1732)
ind <- createDataPartition(my_data$Class, p = 2/3, list = FALSE)
train <- my_data[ ind,]
test  <- my_data[-ind,]

接下来我训练两个模型：随机森林和 SVM。在这里，我还使用 Max Kuhns 函数从两个模型的保留样本中获取平均 ROC 曲线，并将这些结果与曲线中的 AUC 一起保存到另一个 data.frame 中。

#Train RF
ctrl <- trainControl(method = "repeatedcv",
                 number = 5,
                 repeats = 3,
                 classProbs = TRUE,
                 savePredictions = TRUE,
                 summaryFunction = twoClassSummary)

grid <- data.frame(mtry = seq(1,3,1))

set.seed(1537)
rf_mod <- train(Class ~ ., 
                data = train,
                method = "rf",
                metric = "ROC",
                tuneGrid = grid,
                ntree = 1000,
                trControl = ctrl)


rfClasses <- predict(rf_mod, test)

#This is the ROC curve from held out samples. Source is  from Max Kuhns 2016 UseR! code here: https://github.com/topepo/useR2016
roc_train <- function(object, best_only = TRUE, ...) 


  lvs <- object$modelInfo$levels(object$finalModel)

  if(best_only) 
    object$pred <- merge(object$pred, object$bestTune)
  

  ## find tuning parameter names
  p_names <- as.character(object$modelInfo$parameters$parameter)
  p_combos <- object$pred[, p_names, drop = FALSE]

  ## average probabilities across resamples
  object$pred <- plyr::ddply(.data = object$pred, 
                         .variables = c("obs", "rowIndex", p_names),
                         .fun = function(dat, lvls = lvs) 
                           out <- mean(dat[, lvls[1]])
                           names(out) <- lvls[1]
                           out
                         )

  make_roc <- function(x, lvls = lvs, nms = NULL, ...) 
    out <- pROC::roc(response = x$obs,
                 predictor = x[, lvls[1]],
                 levels = rev(lvls))

    out$model_param <- x[1,nms,drop = FALSE]
    out
  
  out <- plyr::dlply(.data = object$pred, 
                 .variables = p_names,
                 .fun = make_roc,
                 lvls = lvs,
                 nms = p_names)
  if(length(out) == 1)  out <- out[[1]]
  out


temp <- roc_train(rf_mod)

plot_data_ROC <- data.frame(Model='Random Forest', sens =     temp$sensitivities, spec=1-temp$specificities)

#This is the AUC of the held-out samples roc curve for RF
auc.1 <- abs(sum(diff(1-temp$specificities) *     (head(temp$sensitivities,-1)+tail(temp$sensitivities,-1)))/2)

#Build SVM
set.seed(1537)
svm_mod <- train(Class ~ ., 
                 data = train,
                 method = "svmRadial",
                 metric = "ROC",
                 trControl = ctrl)

svmClasses <- predict(svm_mod, test)

#ROC curve into df
temp <- roc_train(svm_mod)
plot_data_ROC <- rbind(plot_data_ROC, data.frame(Model='Support Vector Machine', sens = temp$sensitivities, spec=1-temp$specificities))

#This is the AUC of the held-out samples roc curve for SVM
auc.2 <- abs(sum(diff(1-temp$specificities) *   (head(temp$sensitivities,-1)+tail(temp$sensitivities,-1)))/2)

接下来我将绘制结果

#Plotting Final

#ROC of held-out samples
q <- ggplot(data=plot_data_ROC, aes(x=spec, y=sens, group = Model, colour =     Model)) 
q <- q + geom_path() + geom_abline(intercept = 0, slope = 1) + xlab("False     Positive Rate (1-Specificity)") + ylab("True Positive Rate (Sensitivity)") 
q + theme(axis.line = element_line(), axis.text=element_text(color='black'), 
      axis.title = element_text(colour = 'black'),     legend.text=element_text(), legend.title=element_text())

#ROC of testing set
rf.probs <- predict(rf_mod, test,type="prob")
pr <- prediction(rf.probs$event, factor(test$Class, levels = c("noevent", "event"), ordered = TRUE))
pe <- performance(pr, "tpr", "fpr")
roc.data <- data.frame(Model='Random Forest',fpr=unlist([e-mail]),     tpr=unlist([e-mail]))

svm.probs <- predict(svm_mod, test,type="prob")
pr <- prediction(svm.probs$event, factor(test$Class, levels = c("noevent",     "event"), ordered = TRUE))
pe <- performance(pr, "tpr", "fpr")
roc.data <- rbind(roc.data, data.frame(Model='Support Vector     Machine',fpr=unlist([e-mail]), tpr=unlist([e-mail])))

q <- ggplot(data=roc.data, aes(x=fpr, y=tpr, group = Model, colour = Model)) 
q <- q + geom_line() + geom_abline(intercept = 0, slope = 1) + xlab("False     Positive Rate (1-Specificity)") + ylab("True Positive Rate (Sensitivity)") 
q + theme(axis.line = element_line(), axis.text=element_text(color='black'), 
      axis.title = element_text(colour = 'black'),     legend.text=element_text(), legend.title=element_text())


#AUC of hold out samples
data.frame(Rf = auc.1, Svm = auc.2)

#AUC of testing set. Source is  from Max Kuhns 2016 UseR! code here: https://github.com/topepo/useR2016
test_pred <- data.frame(Class = factor(test$Class, levels = c("noevent",     "event"), ordered = TRUE))
test_pred$Rf <- predict(rf_mod, test, type = "prob")[, "event"]
test_pred$Svm <- predict(svm_mod, test, type = "prob")[, "event"]

get_auc <- function(pred, ref)
  auc(roc(ref, pred, levels = rev(levels(ref))))


apply(test_pred[, -1], 2, get_auc, ref = test_pred$Class)

保留样本和测试集的结果完全不同（我知道它们会有所不同，但相差这么多？）。

        Rf       Svm
0.656044 0.5983193

       Rf       Svm 
0.6326531 0.6453428

从保留的样本中选择 RF 模型，但从测试集中选择 SVM 模型。

选择模型的“正确”或“更好”方式是什么？ 我是在某处犯了大错还是没有正确理解某事？

【参考方案1】：

如果我理解正确，那么您有 3 个标记的数据集：

培训 培训中的保留简历样本 “测试”简历样本

虽然，是的，在保留样本 CV 策略下，您通常会根据保留样本选择模型，但您通常也不会拥有更大的验证数据样本。

显然，如果保留数据集和测试数据集都 (a) 被标记并且 (b) 与训练数据的正交性水平尽可能接近，那么您将根据哪个模型来选择模型具有更大的样本量。

在您的情况下，您所说的保留样本似乎只是训练中重复的 CV 重采样。在这种情况下，您更有理由更喜欢测试数据集验证的结果。请参阅 Steffen 的相关 note 重复简历。

理论上，随机森林的 bagging 具有通过 OOB 统计数据进行交叉验证的继承形式，并且在训练阶段进行的 CV 应该可以为您提供一些验证措施。然而，在实践中，通常会观察到缺乏正交性和过度拟合的可能性增加，因为样本来自训练数据本身，并且可能会加强过度拟合以提高准确性的错误。

理论上我可以在一定程度上解释如上，那么除此之外我只需要告诉你，从经验上我发现从训练数据计算的所谓 CV 和 OOB 误差的性能结果可以很高具有误导性，而在训练期间从未接触过的真实保留（测试）数据是更好的验证。

您真正的保留样本是测试数据集，因为它的任何数据都没有在训练期间使用。使用这些结果。

【讨论】：

是的，我有 3 个数据集：“Training”、“Hold-out samples from training”和“Testing”（我编辑了第二段，因为我在解释时犯了错误）。我将使用真正的测试集并摆脱由训练集的保留样本制成的 ROC 曲线。感谢您的回复！