sklearn中ConfusionMatrix

Posted 2023-04-19

参考技术A

sklearn输出的评价矩阵

输出结果

结果分析

输出结果

参考： 基于混淆矩阵的评价指标
识别任务中 混淆矩阵（Confusion Matrix） 用于评价 算法 好坏的指标。下图是一个二分类问题的混淆矩阵：

相关术语：
AccuracyRate(准确率) : (TP+TN)/(TP+TN+FN+FP)
ErrorRate(误分率) : (FN+FP)/(TP+TN+FN+FP)
Recall(召回率，查全率,击中概率) : TP/(TP+FN), 在所有GroundTruth为正样本中有多少被识别为正样本了;
Precision(查准率): TP/(TP+FP),在所有识别成正样本中有多少是真正的正样本；
TPR(TruePositive Rate): TP/(TP+FN),实际就是Recall
FAR(FalseAcceptance Rate)或FPR(False Positive Rate)： FP/(FP+TN)， 错误接收率，误报率，在所有GroundTruth为负样本中有多少被识别为正样本了;
FRR(FalseRejection Rate): FN/(TP+FN)，错误拒绝率，拒真率，在所有GroundTruth为正样本中有多少被识别为负样本了，它等于1-Recall

ROC曲线（receiver operatingcharacteristic curve） ：

每个阈值的识别结果对应一个点(FPR，TPR),当阈值最大时，所有样本都被识别成负样本，对应于右上角的点(0,0)，当阈值最小时，所有样本都被识别成正样本，对应于右上角的点(1,1)，随着阈值从最大变化到最小，TP和FP都逐渐增大；

一个好的分类模型应尽可能位于图像的左上角，而一个随机猜测模型应位于连接点（TPR=0,FPR=0）和（TPR=1,FPR=1）的主对角线上；

可以使用ROC曲线下方的面积AUC（AreaUnder roc Curve）值来度量算法好坏：如果模型是完美的，那么它的AUG = 1，如果模型是个简单的随机猜测模型，那么它的AUG = 0.5，如果一个模型好于另一个，则它的曲线下方面积相对较大；

ERR（Equal Error Rate,相等错误率）：FAR和FRR是同一个算法系统的两个参数，把它放在同一个坐标中。FAR是随阈值增大而减小的，FRR是随阈值增大而增大的。因此它们一定有交点。这个点是在某个阈值下的FAR与FRR等值的点。习惯上用这一点的值来衡量算法的综合性能。对于一个更优的指纹算法，希望在相同阈值情况下，FAR和FRR都越小越好。

sklearn使用投票器VotingClassifier算法构建多模型融合的硬投票器分类器（hard voting）并计算融合模型的混淆矩阵可视化混淆矩阵（confusion matrix）

sklearn使用投票器VotingClassifier算法构建多模型融合的硬投票器分类器（hard voting）并计算融合模型的混淆矩阵、可视化混淆矩阵（confusion matrix）

目录