机器学习之逻辑回归

Posted 2021-02-02 spiritejx

1、逻辑回归其实可以称之为广义的线性回归，采用和线性回归类似的模型。但是逻辑回归解决的是一个分类问题，因此会对求出的y值做一个sigmod函数映射，然后根据预先设定的阈值进行标签处理。其中，使用sigmod函数将θ^Tx映射一个0-1之间的值，和深度学习中的sigmod或者relu函数作用类似。

2、对于二分类问题，逻辑回归采用的损失函数与线性回归不同，采用了如下图1的分段函数。其原因：

1）该损失函数是个凸函数；2）sigmod函数本身就含指数项，容易联想到使用log函数

（图1）

3、然后对图2损失函数的θ求导为0，求出θ值。

（图2）

这里与线性回归类似，求θ也有两种方法：1）矩阵法；2）梯度上升。需要注意的一点，为什么是梯度上升，是因为图2的损失函数表达式采用的是极大似然的方式表达，求的是最大值；如果是按照图1进行推导，前边会有个负号，然后再用泰勒公式展开的时候也会有个负号，两者抵消，也会得出梯度方向为f’(x)，也就是梯度上升。

4、对于多分类问题，在映射θ^Tx时，采用softmax的方式解决。