混淆矩阵敏感性和特异性长度匹配，但数据的级别不能多于参考

Posted 2023-03-12

【中文标题】混淆矩阵敏感性和特异性长度匹配，但数据的级别不能多于参考

【英文标题】：Confusion Matrix Sensitivity & Specificity length match but data cannot have more levels than reference

【发布时间】：2020-07-20 07:06:59

【问题描述】：

问题：

测量灵敏度和特异性所需的混淆矩阵。

问题：

对于混淆矩阵数据，我有匹配的级别，在混淆矩阵中，数据不能有比参考更多的级别，所以当我的级别匹配时（例如下面的列表），那么关于'的错误指的是什么数据不能有比参考更多的级别？参考是'model_prediction' [last length() / str()。我的因变量是因子变量。

尝试过的努力：

对于 R 代码，首先我使用因子结果运行预测并包含 na.action：

loans_predict_fcm <- factor(predict(full, newdata = data_train, type = "response", na.action = na.pass))

使用来自单独 table() 的结果，例如 pred_table；我成功地使用公式计算了灵敏度和特异性。但是，我想用一个混淆矩阵（）来交叉确认这一点。但我无法让confusionMatrix() 工作。

Sensitivity <- 100*(pred_table[1,1])/sum(pred_table[1,1] + pred_table[1,1])
Specificity <- 100*(pred_table[2,2])/sum(pred_table[2,1] + pred_table[2,2])

当我尝试使用分解后的 predict() 运行confusionMatrix() 时。然后检查级别，发现它们不匹配，这就是为什么confusionMatrix() 在数据上失败的级别不能多于参考，在此运行model_prediction。

confusionMatrix(loans_predict_fcm, model_prediction, positive="1")
identical (levels(loans_predict_fcm), levels(model_prediction))
> FALSE

> length(loans_predict_fcm)
[1] 27724
> str(loans_predict_fcm)
 Factor w/ 27424 levels "0.13079979710253",..: 15967 9625 15966 10703 7830 12394 21291 15023 17920 18442 ...
 - attr(*, "names")= chr [1:27724] "11413" "2561" "25337" "1643" ...
> length(loans_train_data$statusRank)
[1] 27724
> str(loans_train_data$statusRank)
 Factor w/ 2 levels "Bad","Good": 2 2 2 1 1 2 2 2 1 2 ...
> length(model_prediction)
[1] 27724
> str(model_prediction)
 Factor w/ 2 levels "Bad","Good": 2 2 2 2 2 2 2 2 2 2 ...
> 

【参考方案1】：

对于混淆矩阵敏感性和特异性问题，列名和行名存在差异，所以我能够使用自定义函数来解决它，这基本上是 colnames() 和 rownames() 上的 setdiff，并创建了一个矩阵向量 mat.or.vec() 用于缺失列名的长度。