Linear Model for classification

Posted 2020-08-28 futurehau

1. Linear Model for Classification

　解决分类问题我们之前主要见过三个：线性分类问题，线性回归问题解分类，logistic回归。接下来看看这三者之间的区别与联系。

  

 三者的区别主要是误差函数不同：

在同一个图上表示如下：

为什么Uper Bound是有效果的？理论证明：

三种解决分类问题的算法的比较：

2. Stochastic Gradient Descent

　　使用Logistic回归来解二分类问题的具体解法：一种是批量梯度下降，需要批量处理数据，一种是随机梯度下降。分别对应于PLA和Pocket

　　

 

3. Multiiclass via Logistic Regression

　　3.1 one vs all

　　

 　3.2 one vs one at a time

　　就是两两组合。分别看用这两求解Logistic。然后多数表决。

　　

　　另外，任何类似于可以得到一个介于01直接的值得分类器都可以这样来解决多分类问题。