监督学习的Logistic回归算法

Posted 2021-03-24 kseven77

函数原型

[h_ heta(X)=frac{1}{1+e^{- heta^TX}}...称h_ heta(X)为y=1的概率。]

决策界限的定义

(根据函数表达式可知当z>=0时y>=0.5当z<0时y<0.5...z= heta^TX,y=h_ heta(X))

(故直线z= heta^TX为决策界限)
## 代价函数
线性回归的代价函数为：
[J( heta)=2frac{1}{m}sum_{i=1}^{m}(h_ heta(x^i)-y(x^i))^2]
我们另：
[J( heta)=frac{1}{m}sum_{i=1}^{m}Cost(h_ heta(x^i),y(x^i))]
(Cost为：)
[Cost(h_ heta(x^i),y(x^i))=egin{cases} -log(h_ heta (x))& ext if&y=1-log(1-h_ heta (x))& ext if&y=0end{cases}]
为什么这样选择？
#### (-log(1-h_ heta (x))图像为：)

其中[h_ heta(X)=frac{1}{1+e^{- heta^TX}}.]
当(h_ heta (x))无限靠近与0时，代价函数为无穷大。
故(h_ heta (x)=0表示y=1的概率为0，与条件y=1完全矛盾。故给该算法加大惩罚。)

当(h_ heta (x))无限靠近与1时，代价函数为0。
故(h_ heta (x)=1表示y=1的概率为100\%，与条件y=1完全符合。)

#### (-log(1-h_ heta (x))图像为：)

证明方式与图1类似...

合并代价函数

[J( heta)=frac{1}{m}sum_{i=1}^m(-ylog(h_{ heta}(x^i))-(1-y)log(1-h_{ heta}(x^i)))]

使用梯度下降法迭代

公式与线性回归公式相同。
证明参考：https://blog.csdn.net/qq_29663489/article/details/87276708

多分类问题

思想：二分，归类于y=1概率的的一类。
如图，三个函数同时处理，得到(h_ heta(X))，故点归类于(h_ heta(X))大的一类。