模型评价与损失函数

Posted 2020-11-22 ambdyx

 模型评价

第二章：模型评价与损失函数

• 要点一： 逻辑回归模型对样本的预测取决于权值向量和偏置。

• 概念：

  序号	概念	解释
  1	训练集	包含真实类别标签的样本集
  2	训练	根据训练集寻找最优参数的过程
  3	损失函数	是模型参数的函数，用于衡量模型参数的优劣

   

• 逻辑回归预测样本x = （x1 ,x2, x3,……，xn)T 属于正类的概率 P：

  f(x) = ? ?

  • 其中，w和b是模型的参数，训练的过程就是寻找这两个参数。

 

• 混淆矩阵

  	预测负类	预测正类
  真实负类	TN	FP
  真实正类	FN	TP

   

• 正确率

  • 正确率的计算公式：

    accuracy = ?

    正确率是模型预测正确的样本数与总样本数之比。其并不总是可靠的，例如正例：负例=99:1，预测结果为全 正，此时的正确率为99%。

• 查准率：

  • 又称准确率（precision），公式如下：

    ?(正类)

    ?(负类)

    由公式可知，正确预测正类样本数量和预测正类样本总数量之比。负类同。

• 查全率：

  • 查全率又称召回率：recall

    ?

    此公式意味着，预测为正类的样本数与全部正类样本数之比。又称真阳率（TPR，true positive rate）与之相对应的有假阳率（FPR，false positive rate):

    ?

• ROC曲线

  • 在逻辑回归中，假设我们已经得到了一组w与b,所以我们可以把测试集中的数据代入f(x)进行预测，代入函数后我们得到的是一个介于0和1之间的一个数，为了实现预测，我们需要一个阈值，我们将f(x)大于阈值的测试数据视为正类，否则为负类。

  • 所以阈值的选取将直接的影响到我们的逻辑回归模型的好坏。

  • 假阳率FPR与真阳率这对指标随阈值变化同升同降。高TPR和低FPR是我们希望的。

  • ROC曲线如图

  • 

  • 以FPR为横轴、TPR为纵轴，将不同阈值对应的ROC曲线画出来。ROC曲线上拱越高，说明在较低处的FPR处有更高的TPR。

  • ROC曲线下的面积，AUC（area under curve）可以衡量模型的质量。

 

 

下一节将发布损失函数的计算方法

后续还有梯度下降法求解逻辑回归，梯度下降法的改进等内容，届时为大家奉上手写逻辑回归代码

感谢关注