keras中的损失函数

Posted 2023-02-14 somTian

• • mean_squared_error
  • mean_absolute_error
  • mean_absolute_percentage_error
  • mean_squared_logarithmic_error
  • squared_hinge
  • hinge
  • categorical_hinge
  • logcosh
  • categorical_crossentropy
  • sparse_categorical_crossentropy
  • binary_crossentropy
  • kullback_leibler_divergence
  • poisson
  • cosine_proximity
  • 简写
  • 参考

只是为了记录下如何选择损失函数，把公式贴上来了，有些损失函数的公式没找到，以后找到了再贴上来。

损失函数是模型优化的目标，所以又叫目标函数、优化评分函数，在keras中，模型编译的参数loss指定了损失函数的类别，有两种指定方法：

model.compile(loss='mean_squared_error', optimizer='sgd')

或者

from keras import losses
model.compile(loss=losses.mean_squared_error, optimizer='sgd')

你可以传递一个现有的损失函数名，或者一个TensorFlow/Theano符号函数。 该符号函数为每个数据点返回一个标量，有以下两个参数:

• y_true: 真实标签. TensorFlow/Theano张量
• y_pred: 预测值. TensorFlow/Theano张量，其shape与y_true相同

实际的优化目标是所有数据点的输出数组的平均值。

mean_squared_error

mean_squared_error(y_true, y_pred)

源码：

def mean_squared_error(y_true, y_pred):
    return K.mean(K.square(y_pred - y_true), axis=-1)

说明：

MSE:

$$L= \\frac 1n \\sum^n_i=1 (y_pred^(i) - y_true^(i))^2$$

mean_absolute_error

mean_absolute_error(y_true, y_pred)

源码：

def mean_absolute_error(y_true, y_pred):
    return K.mean(K.abs(y_pred - y_true), axis=-1)

说明：

MAE：

$$L= \\frac 1n \\sum^n_i=1 |(y_pred^(i) - y_true^(i))|$$

mean_absolute_percentage_error

mean_absolute_percentage_error(y_true, y_pred)

源码：

def mean_absolute_percentage_error(y_true, y_pred):
    diff = K.abs((y_true - y_pred) / K.clip(K.abs(y_true),
                                            K.epsilon(),
                                            None))
    return 100. * K.mean(diff, axis=-1)

说明：

MAPE：

$$L= \\frac 1n \\sum^n_i=1 |\\frac y_pred^(i) - y_true^(i)y_true^(i)| \\cdot 100$$

mean_squared_logarithmic_error

mean_squared_logarithmic_error(y_true, y_pred)

源码：

def mean_squared_logarithmic_error(y_true, y_pred):
    first_log = K.log(K.clip(y_pred, K.epsilon(), None) + 1.)
    second_log = K.log(K.clip(y_true, K.epsilon(), None) + 1.)
    return K.mean(K.square(first_log - second_log), axis=-1)

说明：

MSLE：

$$L= \\frac 1n \\sum^n_i=1 (log(y_true^(i) +1) - log( y_pred^(i)+1))^2$$

squared_hinge

squared_hinge(y_true, y_pred)

源码：

def squared_hinge(y_true, y_pred):
    return K.mean(K.square(K.maximum(1. - y_true * y_pred, 0.)), axis=-1)

$$L= \\frac 1n \\sum^n_i=1 (max(0,1-y_pred^(i) \\cdot y_true^(i)))^2$$

hinge

hinge(y_true, y_pred)

源码：

def hinge(y_true, y_pred):
    return K.mean(K.maximum(1. - y_true * y_pred, 0.), axis=-1)

说明：

L=1n∑i=1nmax(0,1−y(i)pred⋅y(i)trukeras损失函数详解

keras 中的输入形状（此损失期望目标具有与输出相同的形状）

如何在 keras 中创建自定义损失函数？ （自定义加权二元交叉熵）

Keras深度学习框架之损失函数

神经网络中的各种损失函数介绍

Keras 中的自定义损失函数（IoU 损失函数）和梯度误差？