回归1——Logistic回归

Posted 2020-09-28

主要思想：根据现有数据对分类边界线建立回归公式，以此进行分类

优点：计算代价不高，易于理解和实现

缺点：容易欠拟合，分类精度可能不高

适用数据类型：数值型和标称型数据

 

回归的结果为一个数值型数据，利用Sigmoid函数（平缓的阶跃函数）将其归一化到[0,1]之间，之后设定阈值以进行分类。

simoid(z) = 1.0/(1+exp(-z))

回归线方程为：z=w0x0+w1x1+...+wnxn

利用输入数据xi和输出数据zi来估计出最佳的w值

 

使用梯度上升法寻找最佳w

梯度上升法，用来寻找某个函数的最大值。利用的数学原理是：要找到某函数的最大值，最好的方法是沿着该函数的梯度方向搜寻。

w := w + alpha*grad(f(w))

其中w就是要参与迭代的参数，alpha表示寻找时前进的步伐，grad(f(w))是f(w)变化最快的方向

梯度下降法，用来寻找最小值

w := w - alpha*grad(f(w))

 

未完成待增补