MATLAB 中分类预测生成提升图的置信度

Posted

技术标签:

【中文标题】MATLAB 中分类预测生成提升图的置信度【英文标题】:Confidence of categorical predictions in MATLAB to generate lift charts 【发布时间】:2013-12-22 19:46:12 【问题描述】:

对于家庭作业,我需要将多个分类模型拟合到数据集并比较它们的提升图以确定最有效的模型。模型产生二进制结果(或该二进制结果的概率),我们称它们为“是”或“否”。具有连续输出的模型很容易生成提升图,因为它很容易按置信度降序对数据集进行排序。

例如,我在使用生成二进制结果(k-NN 和分类树)的模型时遇到了麻烦。在我的脑海中,我知道创建置信度值的方法,但我不知道如何使用这些库来实现。

对于 k-NN,我会将概率置信度设置为训练数据中通过树中特定路径的“是”概率。但是使用这种方法,以及 MATLAB 中的树模型,我不知道每条记录都经过哪个树路径。

与 k-NN 类似,我会根据 k 个邻居获取概率,并从这 k 个邻居中找到“是”的概率,但模型没有告诉我这 k 个邻居,我宁愿不这样做搜索它们。

对于这些问题中的一个或两个问题的任何帮助(或在 MATLAB 中生成提升图的更好方法非常感谢)

【问题讨论】:

【参考方案1】:

我实际上能够找到我自己问题的答案。 MATLAB 中的predict 函数为预测模型中每种类别的概率生成分数

[class, score] = predict(mdl, new_observation);

【讨论】:

以上是关于MATLAB 中分类预测生成提升图的置信度的主要内容,如果未能解决你的问题,请参考以下文章

Python NLTK:如何在分类器预测中检索百分比置信度

R中具有置信区间图的线性回归预测

R语言plotly可视化:使用plotly可视化多分类模型的预测置信度模型在2D网格中每个数据点预测的置信度置信度定义为在某一点上最高分与其他类别得分之和之间的差值

如何计算小数据集的 SVM 分类概率(置信度)?

为啥 TensorFlow 模型报告的预测置信度不正确?

R语言plotly可视化:使用plotly可视化数据划分后的训练集和测试集使用不同的形状标签表征训练集测试集以及数据集的分类标签整个数据空间的分类边界轮廓线(等高线)多分类模型的预测置信度