基础知识三线性模型
Posted AYE89
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了基础知识三线性模型相关的知识，希望对你有一定的参考价值。
一、基本形式
通过属性的线性组合来进行预测，
许多非线性模型可以在线性模型的基础上，引入层级结构或高维映射而得。
二、线性回归
最小二乘法：求解ω和b；（即均方误差最小化）
多元线性回归：样本由多个属性描述，即x为多维向量；
若矩阵不满秩产生多个解，解决方法：引入正则化项；（即增加约束）
三、对数/逻辑线性回归
广义线性模型：
g(.)条件：连续且充分光滑（单调可微）
为了预测值连续，引入Sigmoid函数
得到，
极大似然估计：求解ω和b
四、线性判别分析LDA
也叫“Fisher判别”
将样例投影到一条直线上，使同类样例投影点尽可能接近，异类样例投影点尽可能远离；
五、多分类策略
“一对一” one vs one 共训练N(N-1)/2个分类器，投票 （其中N为类别数）
“一对其余” one vs rest/ one vs all 共训练N个分类器，投票
“多对多”
六、类别不平衡问题
假设 正例<反例
“再平衡”“再缩放”：根据正、反例比例调节阈值
对反例“欠采样”
对正例“过采样”
注意：这里“欠采样”与“过采样”均有专门算法，不能简单“随机丢弃”或者“随机重复”。
#逻辑回归即LR；
多元回归，若要考虑特征之间的相互关系，著名的有FM模型；
以上是关于基础知识三线性模型的主要内容，如果未能解决你的问题，请参考以下文章
机器学习 —— 基础整理：线性回归；二项Logistic回归；Softmax回归；广义线性模型