机器学习笔记逻辑回归

Posted 2020-09-17

一、逻辑回归问题

二分类的问题为是否的问题，由算出的分数值，经过sign函数输出的是（+1，-1），想要输出的结果为一个几率值，则需要改变函数模型

，其中，，

则逻辑回归的函数为

二、逻辑回归错误评价

线性分类和线性回归的模型为：

其中的线性分数函数均为，逻辑回归有同样的分数函数，模型为

逻辑回归的理想函数为

对于函数f(x)，在数据情况下，D的所有数据在函数下的联合概率为

，我们想要的模型h要使,则对于h来说，在数据D中也符合，

要使需要找到一个g使它发生的可能性最大，即

由

p(x1),p(x2),p(xn)对于已知的数据资料来说是不变的，计算时可以忽略，可知

即求得最大的，由相乘转化为对数求相加，并且加负号转化为求得最小值

可知

三、梯度下降，求得最小的w

对于平滑的凸函数，要求得使W最小的地方即梯度等于0的地方

，即

由

最终对于所有w的梯度为

想要，如果为0公式成立，但这需要都远远大于0，这意味着数据资料要线性可分，但实际情况的大多数的数据资料不一定线性可分，并且含有噪声影响，所以为0不能实现，所以使用梯度下降的PLA算法来逐渐迭代，表示为

最终可表示为，其中，

则逻辑回归的算法为下图，一般取值为0.1