常见损失函数记录
Posted cuhm
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了常见损失函数记录相关的知识，希望对你有一定的参考价值。
常见损失函数记录，主要是自己记一下公式，没啥讲解
均方误差，绝对值损失，0-1损失
最简单的几种，没啥好说的
[
L(Y, f(X))=(Y-f(X))^{2} L(Y, f(X))=left{egin{array}{ll}{1,} & {Y
eq f(X)} \ {0,} & {y=f(X)}end{array}
ight.L(Y, f(X))=|Y-f(X)|
]
Hinge Loss
来自SVM
二分类情况
[
L(y, ilde{y}) = max(0, 1-y ilde{y}), y=pm 1
]
出自SVM，也叫做SVM loss，从数学表达式就可以看出不止要分类正确，还需要间隔最大化。
多分类情况
[
L(y, ilde{y}) = max(0, 1-（ ilde{y}_t - ilde{y}_k), y=pm 1
]
其中的( ilde{y}_t)和( ilde{y}_k)分别是得分最高和第二高的两个分量
Log Loss
标准形式
[
L(Y, P(Y | X))=-log P(Y | X)
]
交叉熵
[
L(y, hat{y})=-sum_i y_ilog(hat{y}_i)
]
对应one hot和单标签则变为
[
L(y, hat{y})=-log(hat{y}_t)
]
逻辑回归中的形式(也可从极大似然角度和log loss角度推导）
[
L=-left((y_ilog p_i)+(1-y_i)log(1-p_i)
ight)
]
以上是关于常见损失函数记录的主要内容，如果未能解决你的问题，请参考以下文章