[转] 为什么分类问题的损失函数采用交叉熵而不是均方误差MSE？

Posted 2021-06-14 凌波微步_Arborday

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了[转] 为什么分类问题的损失函数采用交叉熵而不是均方误差MSE？相关的知识，希望对你有一定的参考价值。

from: https://zhuanlan.zhihu.com/p/104130889

假设给定输入为x，label为y，其中y的取值为0或者1，是一个分类问题。我们要训练一个最简单的Logistic Regression来学习一个函数f(x)使得它能较好的拟合label，如下图所示。

其中 $z(x) = w*x + b$ ， $a(z) = \\sigma(z) = \\frac{1}{1+e^{-z}}$ 。

也即，我们要学的函数 $a(x) = \\sigma(w*x + b)$ 。目标为使a(x)与label y越逼近越好。用哪种Loss来衡量这个逼近呢？我们可以回忆下交叉熵Loss和均方差Loss定义是什么：

最小均方误差，MSE（Mean Squared Error）Loss
$L_{mse} = \\frac{1}{2}(a - y)^2$
交叉熵误差CEE（Cross Entropy Error）Loss
$L_{cee} = -(y*ln(a) + (1-y)*ln(1-a))$

我们想衡量模型输出a和label y的逼近程度，其实这两个Loss都可以。但是为什么Logistic Regression采用的是交叉熵作为损失函数呢？看下这两个Loss function对w的导数，也就是SGD梯度下降时，w的梯度。

最小均方差
$\\frac {\\partial L_{mse}}{\\partial w} = \\frac {\\partial L}{\\partial a} * \\frac {\\partial a}{\\partial z} * \\frac {\\partial z}{\\partial w} = (a-y) * \\sigma^{\'}(z)* x$
交叉熵
$\\frac {\\partial L_{cee}}{\\partial w} = (-\\frac {y}{a} + \\frac {1-y}{1-a}) * \\sigma^{\'}(z)* x$
由于 $\\sigma^{\'}(z) = \\sigma(z) * (1 - \\sigma(z)) = a * (1-a)$ ，则： $\\frac {\\partial L_{cee}}{\\partial w} = (ay-y+a-ay)*x = (a-y)*x$

sigmoid函数 $\\sigma(z)$ 如下图所示，可知的导数sigmoid $\\sigma^{\'}(z)$ 在输出接近 0 和 1 的时候是非常小的，故导致在使用最小均方差Loss时，模型参数w会学习的非常慢。而使用交叉熵Loss则没有这个问题。为了更快的学习速度，分类问题一般采用交叉熵损失函数。