机器学习模型评估

Posted ZSYL

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了机器学习模型评估相关的知识,希望对你有一定的参考价值。

模型评估模型开发过程不可或缺的一部分。它有助于发现表达数据最佳模型所选模型将来工作的性能如何。 按照数据集的目标值不同,可以把模型评估分为分类模型评估回归模型评估

分类模型评估

在这里插入图片描述

  • 准确率
    • 预测正确的数占样本总数的比例。
  • 其他评价指标精确率、召回率、F1-score、AUC指标

回归模型评估

在这里插入图片描述
均方根误差(Root Mean Squared Error,RMSE)

RMSE是一个衡量回归模型误差率的常用公式。 不过,它仅能比较误差是相同单位的模型。

在这里插入图片描述
举例:

假设上面的房价预测,只有五个样本,对应的
真实值为:100,120,125,230,400
预测值为:105,119,120,230,410

那么使用均方根误差求解得:

在这里插入图片描述
其他评价指标:相对平方误差(Relative Squared Error,RSE)、平均绝对误差(Mean Absolute Error,MAE)、相对绝对误差 (Relative Absolute Error,RAE)

拟合

模型评估用于评价训练好的的模型的表现效果,其表现效果大致可以分为两类:过拟合、欠拟合

在训练过程中,你可能会遇到如下问题:

训练数据训练的很好啊,误差也不大,为什么在测试集上面有问题呢?

当算法在某个数据集当中出现这种情况,可能就出现了拟合问题

欠拟合

在这里插入图片描述
因为机器学习到的天鹅特征太少了,导致区分标准太粗糙,不能准确识别出天鹅。

欠拟合(under-fitting):模型学习的太过粗糙,连训练集中的样本数据特征关系都没有学出来。

过拟合

在这里插入图片描述

机器已经基本能区别天鹅和其他动物了。然后,很不巧已有的天鹅图片全是白天鹅的,于是机器经过学习后,会认为天鹅的羽毛都是白的,以后看到羽毛是黑的天鹅就会认为那不是天鹅。

过拟合(over-fitting):所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越,导致在测试数据集中表现不佳。

  • 欠拟合
    • 学习到的东西太少
    • 模型学习的太过粗糙
  • 过拟合
    • 学习到的东西太多
    • 学习到的特征多,不好泛化

感谢!

加油!

努力!

以上是关于机器学习模型评估的主要内容,如果未能解决你的问题,请参考以下文章

机器学习模型评估

机器学习:模型评估

评估机器学习模型的几种方法(验证集的重要性)

周志华机器学习--模型评估与选择

R使用交叉验证(cross validation)进行机器学习模型性能评估

机器学习中的模型选择和评估