机器学习中的预测评价指标MSERMSEMAEMAPESMAPE

Posted 2022-01-11 府学路18号车神

💖作者简介：大家好，我是车神哥，府学路18号的车神🥇
⚡About—>车神：从寝室到实验室最快3分钟，最慢3分半（那半分钟其实是等红绿灯）
📝个人主页：应无所住而生其心的博客_府学路18号车神_CSDN博客
🎉点赞➕评论➕收藏 == 养成习惯（一键三连）😋
📖本系列主要以学习Go语言打怪升级为标准，实现自我能力的提升为目标⚡
⚡希望大家多多支持🤗~一起加油 😁

• 专栏

• 《Golang · 过关斩将》

• 《Neural Network》

• 《LeetCode天梯》

• 《Algorithm》

• 《Python》

• 《web》

---

预测评价指标

• 背景
• 均方误差（MSE）
• 均方根误差（RMSE）
• 平均绝对误差（MAE）
• 平均绝对百分比误差（MAPE）
• 对称平均绝对百分比误差（SMAPE）

最近论文在写关于极限学习机ELM的相关内容，在机器学习中有很重要的一点就是评级指标，这是判断你的算法性能很重要的、很有必要的一个评判标准，下面我们就一起来看看有哪些评价指标吧！~

背景

机器学习中，一般是对输出值，具体也就是对预测值 $\hat{Y}$ 和真实值 $Y$ 进行评价，利用以下的评价指标来表现预测和真实之间的差距，误差越小说明效果越好，性能越好！~

这里我们假设：
$$\hat{Y}={\hat{y}}_1,{\hat{y}}_2,...,{\hat{y}}_n--预测值$$

$$Y=y_1,y_2,...,y_n--预测值$$

均方误差（MSE）

均方误差（Mean Square Error，MSE）,反映估计量与被估计量之间差异程度的一种度量。设t是根据子样确定的总体参数θ的一个估计量，(θ-t)2的数学期望，称为估计量t的均方误差。它等于σ2+b2，其中σ2与b分别是t的方差与偏倚。

MSE

MSE计算公式：
$$MSE=\frac{1}{n}\sum _{i=1}^n{\left({\hat{y}}_i-y_i\right)}^2$$

解释：

范围[0,+∞)，当预测值与真实值完全吻合时等于0，即完美模型；误差越大，该值越大。
总而言之，值越小，机器学习网络模型越精确，相反，则越差。

均方根误差（RMSE）

均方根误差（Root Mean Square Error，RMSE），从名称来看，我们都能猜得到是什么意思。多了一个根，这个“根”的意思顾名思义，就只是加了个根号。均方根误差是预测值与真实值偏差的平方与观测次数n比值的平方根，在实际测量中，观测次数n总是有限的，真值只能用最可信赖（最佳）值来代替。

RMSE的计算公式：
$$RMSE=\sqrt{\frac{1}{n}\sum _{i=1}^n{\left({\hat{y}}_i-y_i\right)}^2}$$

解释：

它的计算方法是先平方、再平均、然后开方。均方根误差是用来衡量观测值同真值之间的偏差。和MSE同理，当我们的预测值和真实值之间的差距越小，模型精度越高；相反，则越低。

平均绝对误差（MAE）

平均绝对误差（Mean Absolute Error，MAE）,绝对偏差平均值即平均偏差，指各次测量值的绝对偏差绝对值的平均值。平均绝对误差可以避免误差相互抵消的问题，因而可以准确反映实际预测误差的大小。

MAE

MAE计算公式：
$$MAE=\frac{1}{n}\sum _{i=1}^n\left|{\hat{y}}_i-y_i\right|$$

解释：

范围[0,+∞)，和MSE、RMSE类似，当预测值和真实值的差距越小，则模型越好；相反则越差。

平均绝对百分比误差（MAPE）

平均绝对百分比误差（Mean Absolute Percentage Error，MAPE），平均绝对百分比误差之所以可以描述准确度是因为平均绝对百分比误差本身常用于衡量预测准确性的统计指标,如时间序列的预测。

计算公式：
$$MAPE=\frac{100\%}{n}\sum _{i=1}^n\left|\frac{{\hat{y}}_i-y_i}{y_i}\right|$$

解释：

和上面的MAE相比，在预测值和真实值的差值下面分母多了一项，除以真实值。
范围[0,+∞)，MAPE 为0%表示完美模型，MAPE 大于 100 %则表示劣质模型。

需要注意的一点！！！

当真实值有数据等于0时，存在分母0除问题，该公式不可用！

对称平均绝对百分比误差（SMAPE）

对称平均绝对百分比误差（Symmetric Mean Absolute Percentage Error，SMAPE）

SMAPE计算公式为：
$$SMAPE=\frac{100\%}{n}\sum _{i=1}^n\frac{\left|{\hat{y}}_i-y_i\right|}{\left(\left|{\hat{y}}_i\right|+\left|y_i\right|\right)/2}$$

解释：

与MAPE相比，加了对称，其实就是将分母变为了真实值和预测值的中值。和MAPE的用法一样，范围[0,+∞)，MAPE 为0%表示完美模型，MAPE 大于 100 %则表示劣质模型。

同样，值得注意的一点！！！

当真实值有数据等于0，而预测值也等于0时，存在分母0除问题，该公式不可用！

这里也给出一下Python代码：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2021/12/21 15:05
# @Author  : 府学路18号车神
# @Email   ：[e-mail]
# @File    : Evaluation_index.py

import numpy as np
from sklearn import metrics

# 将sklearn的也封装一下吧
# MSE
def mse(y_true, y_pred):

    res_mse = metrics.mean_squared_error(y_true, y_pred)

    return res_mse
# RMSE
def rmse(y_true, y_pred):

    res_rmse = np.sqrt(metrics.mean_squared_error(y_true, y_pred))

    return res_rmse

# MAE
def mae(y_true, y_pred):

    res_mae = metrics.mean_absolute_error(y_true, y_pred)

    return res_mae

# sklearn的库中没有MAPE和SMAPE，下面根据公式给出算法实现
# MAPE
def mape(y_true, y_pred):

    res_mape = np.mean(np.abs((y_pred - y_true) / y_true)) * 100

    return res_mape

# SMAPE
def smape(y_true, y_pred):

    res_smape = 2.0 * np.mean(np.abs(y_pred - y_true) / (np.abs(y_pred) + np.abs(y_true))) * 100

    return res_smape

# main
if __name__=='__main__':

    # 由于没有用模型，这里就随机出几个值来测试下吧

    y_true = np.random.random(10)
    print(y_true)
    y_pred = np.random机器学习二分类模型评价指标:准确率召回率特异度等

 机器学习100天（二十一）：021 分类模型评价指标-ROC曲线和AUC
 机器学习100天（二十一）：021 分类模型评价指标-ROC曲线和AUC
 Python深度学习之路-3.1性能评价指标
 Python深度学习之路-3.1性能评价指标
 Python深度学习之路-3.1性能评价指标