11 Linear Models for Classification
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了11 Linear Models for Classification相关的知识，希望对你有一定的参考价值。
一、二元分类的线性模型
线性分类、线性回归、逻辑回归
可视化这三个线性模型的代价函数
SQR、SCE的值都是大于等于0/1的
理论分析上界
将回归应用于分类
线性回归后的参数值常用于pla/pa/logistic regression的参数初始化
二、随机梯度下降
两种迭代优化模式
利用全部样本---》利用随机的单个样本，
梯度下降---》随机梯度下降
SGD与PLA的相似性
当迭代次数足够多时，停止
步长常取0.1
三、使用逻辑回归的多分类问题
是非题---》选择题
每次识别一类A，将其他类都视作非A类
结果出现问题
将是不是A类变为是A类的可能性：软分类
分别计算属于某类的概率，取概率值最大的类为最后的分类结果
OVA总结
注意每次计算一类概率时都得利用全部样本
四、使用二元分类的多分类问题
OVA经常不平衡，即属于某类的样本过多时，分类结果往往倾向于该类
为更加平衡，使用OVO
OVA保留一类，其他为非该类，每次利用全部样本；
OVO保留两类，每次只利用属于这两类的样本
通过投票得出最终分类结果
OVO总结
OVA vs OVO
以上是关于11 Linear Models for Classification的主要内容，如果未能解决你的问题，请参考以下文章
Chapter3_Linear Models for Regression(讨论课)
《The Elements of Statistical Learning》 chp3 Linear Models for Regression
Regression：Generalized Linear Models
R语言广义线性模型函数GLM广义线性模型（Generalized linear models）glm函数构建逻辑回归模型（Logistic regression）
分类和逻辑回归(Classification and logistic regression)，广义线性模型(Generalized Linear Models) ，生成学习算法(Generative