为什么LR模型损失函数使用交叉熵不用均方差?

Posted AI算法攻城狮

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了为什么LR模型损失函数使用交叉熵不用均方差?相关的知识,希望对你有一定的参考价值。

如果使用均方差作为损失函数

所以,如果当前模型的输出接近0或者1时,σ′(z)就会非常小,接近0,使得求得的梯度很小,损失函数收敛的很慢。

如果使用交叉熵作为损失函数

以上是关于为什么LR模型损失函数使用交叉熵不用均方差?的主要内容,如果未能解决你的问题,请参考以下文章

交叉熵函数(Cross Entropy)与均方误差损失函数(MSE)对比?为什么选择交叉熵函数?

均方误差和交叉熵损失函数比较

损失函数MSECross entropyHinge Loss-杂记

损失函数MSECross entropyHinge Loss-杂记

均方差交叉熵及公式推导

深度学习补充和总结