为什么逻辑回归损失函数不用均方损失/二元逻辑回归的损失函数适合采用对数损失函数
Posted theo-sblogs
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了为什么逻辑回归损失函数不用均方损失/二元逻辑回归的损失函数适合采用对数损失函数相关的知识，希望对你有一定的参考价值。
逻辑回归可以用于处理二元分类问题，将输出值控制在[0，1]区间内，为确保输出值时钟若在0到1之间，采用sigmoid函数，其具有该特性，将线性回归训练得到的模型输出数据作z = x1*w1+x2*w2+...+xn*wn+b代入得到y,保证了y在0~1之间
逻辑回归中用到sigmoid函数，若用均方误差则为非凸函数，有多个极小值，采用梯度下降法容易现如局部最优解中
因此在二元逻辑回归的损失函数一般采用对数损失函数
y‘是x代入得到的预测值，介于0~1之间的；
若标签值为1，我们希望预测的结果也是越接近1越好，越接近说明损失越小 =》》后项1 - y为 0 直接消掉，则-y log(y‘)中y‘越接近1，则式子越接近0 ，损失和越小
同理，若标签值为0，则前项消掉，后项-log(1 - y‘)预测值越接近0，式子越小
softmax可以解决多元分类问题
以上是关于为什么逻辑回归损失函数不用均方损失/二元逻辑回归的损失函数适合采用对数损失函数的主要内容，如果未能解决你的问题，请参考以下文章
机器学习 | Logistic Regression（逻辑回归）中的损失函数