机器学习基石笔记-Lecture 10 Logistic regression

Posted 2020-09-23 Akane

soft binary classification的概念：软二分类，不直接化为-1、1，而是给出一个概率值。

目标函数是一个概率值，但是拿到的data中y只有0、1（或者-1、1），可以看做是有noise的data。

logistic hypothesis

通过 theta 转化为 0、1间的数。

 

目标函数f(x)其实呢就是，那么

那么对N个样本，产生的概率是

对于f的估计h，似然函数为

那么有：

使

用w替换掉h，即求w的极大似然估计

化简后等价于

最后的Ein就是cross-entropy error

 

接下来要做的事就是找到一个w使得Ein最小。

注意到Ein是连续的、可微的、凸函数，所以对w求偏导能得到最优解。（与linear regression思路一样）

但是 最后偏导出来的不是一个一次方程，不能像linear regression那样直接写出解。

 

gradient  descent

想象成下山，每次探索的结果只要比现在的低，就走出去。在步长固定时，当前点的负梯度是下降最迅速的方向。

一阶泰勒展开

确定了下降的方向后，再考虑走出的步长。步长过大或过小都不好，我们希望在梯度比较大的时候步长稍微大一点，平缓的时候步长小一点。其实就和正相关。

它们的比例系数 叫做学习率。

学习过程

注意这里算法终止的条件是梯度足够小或者迭代达到最高次数。

梯度下降法每次计算在 w_t的梯度时，需要将n个点都计算一遍 然后求平均值

 

stochastic gradient descent

在样本量很大时，梯度下降法每次迭代都要计算n各点对梯度的贡献。

随机梯度下降法在更新w时，只随机选取一个点计算，当做梯度替代 n个点的平均

 

logistic regression:

优点：计算代价不高，易于理解和实现。

缺点：容易欠拟合，分类精度可能不高。

适用：数值型和标称型数据。