[机器学习]第三周记录

Posted 2021-03-09 greenduck

 

---

1.线性回归不适用于分类问题。

原因：1.单个样本对于线性回归可能会造成很大的影响。

　　　2.函数的输出值可能非常大，非常离谱。

2.逻辑回归(logistic regression)：一种分类算法。是广义线性回归，$h(x)=g( heta^{T}x)$，其中

$g(x)=frac{1}{1+e^{-x}}$

被称为logistic函数，或sigmoid函数。

3.记号：$h_{ heta}(x)=P(y=1|x; heta)$，即在theta参数和x的条件下，y等于1的概率。

4.决策边界(decision boundary)：$h(x)=0$的解集，这是h函数、参数的属性，而不是数据集的属性。

5.逻辑回归可以像以前特征缩放一样使用多项式，这样就造成其可拟合很多类型的数据集。

6.逻辑回归问题：

　　h函数,$h_{ heta}{(x)}=frac{1}{1+e^{- heta^{T}x}}$

　　(x⁽ⁱ⁾,y⁽ⁱ⁾)第i样样本，输入为x，输出为y

　　最小化$frac{1}{m}sum{cost(h_{ heta}(x^{(i)}),y^{(i)})}$

　　可以发现，如果直接使用梯度下降法，非常容易会停留在局部最优值上，因此代价函数不能使用平方误差函数。

　　而我们的麻烦之处，正在于e次方上，我们便尝试使用对数函数来去掉它的影响。于是代价函数为：

$$cost(h_{ heta}(x),y)=egin{cases}-log(h_{ heta}(x))ifquad y=1\-log(1-h_{ heta}(x))ifquad y=0end{cases}$$

　　条件不要搞反了。

　　为什么？

　　于是，$$J( heta)=frac{1}{m}sum_{i=1}^{m}{-y-log(h_{ heta}(x))-(1-y)log(1-h_{ heta}(x))}$$

$$=J( heta)=-frac{1}{m}sum_{i=1}^{m}{y+log(h_{ heta}(x))+(1-y)log(1-h_{ heta}(x))}$$