模型评价与损失函数

Posted ambdyx

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了模型评价与损失函数相关的知识,希望对你有一定的参考价值。

 模型评价

第二章:模型评价与损失函数

  • 要点一: 逻辑回归模型对样本的预测取决于权值向量偏置

  • 概念:

    序号概念解释
    1 训练集 包含真实类别标签的样本集
    2 训练 根据训练集寻找最优参数的过程
    3 损失函数 是模型参数的函数,用于衡量模型参数的优劣

     

  • 逻辑回归预测样本x = (x1 ,x2, x3,……,xn)T 属于正类的概率 P

    f(x) = ? ?

    • 其中,w和b是模型的参数,训练的过程就是寻找这两个参数。

 

  • 混淆矩阵

     预测负类预测正类
    真实负类 TN FP
    真实正类 FN TP

     

  • 正确率

    • 正确率的计算公式:

      accuracy = ?

      正确率是模型预测正确的样本数与总样本数之比。其并不总是可靠的,例如正例:负例=99:1,预测结果为全 正,此时的正确率为99%。

  • 查准率:

    • 又称准确率(precision),公式如下:

      ?(正类)

      ?(负类)

      由公式可知,正确预测正类样本数量和预测正类样本总数量之比。负类同。

  • 查全率:

    • 查全率又称召回率:recall

      ?

      此公式意味着,预测为正类的样本数与全部正类样本数之比。又称真阳率TPR,true positive rate)与之相对应的有假阳率FPR,false positive rate):

      ?

  • ROC曲线

    • 在逻辑回归中,假设我们已经得到了一组w与b,所以我们可以把测试集中的数据代入f(x)进行预测,代入函数后我们得到的是一个介于0和1之间的一个数,为了实现预测,我们需要一个阈值,我们将f(x)大于阈值的测试数据视为正类,否则为负类。

    • 所以阈值的选取将直接的影响到我们的逻辑回归模型的好坏。

    • 假阳率FPR与真阳率这对指标随阈值变化同升同降。高TPR和低FPR是我们希望的。

    • ROC曲线如图

    • 技术图片

    • 以FPR为横轴、TPR为纵轴,将不同阈值对应的ROC曲线画出来。ROC曲线上拱越高,说明在较低处的FPR处有更高的TPR。

    • ROC曲线下的面积,AUC(area under curve)可以衡量模型的质量。

 

 

下一节将发布损失函数的计算方法

后续还有梯度下降法求解逻辑回归,梯度下降法的改进等内容,届时为大家奉上手写逻辑回归代码

感谢关注

 

 

以上是关于模型评价与损失函数的主要内容,如果未能解决你的问题,请参考以下文章

模型评估与模型选择

GDBT回归

损失函数与鲁棒性

如何对神经网络模型训练结果进行评价

XGBoost的损失函数和评价指标

Keras 模型的验证损失与损失函数输出不匹配