基础知识三线性模型

Posted AYE89

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了基础知识三线性模型相关的知识,希望对你有一定的参考价值。

一、基本形式

通过属性的线性组合来进行预测,

许多非线性模型可以在线性模型的基础上,引入层级结构或高维映射而得。

二、线性回归

最小二乘法:求解ω和b;(即均方误差最小化)

多元线性回归:样本由多个属性描述,即x为多维向量;

若矩阵不满秩产生多个解,解决方法:引入正则化项;(即增加约束)

三、对数/逻辑线性回归

广义线性模型:

g(.)条件:连续且充分光滑(单调可微)

 

为了预测值连续,引入Sigmoid函数 

得到,

极大似然估计:求解ω和b

四、线性判别分析LDA

也叫“Fisher判别”

将样例投影到一条直线上,使同类样例投影点尽可能接近,异类样例投影点尽可能远离;

五、多分类策略

“一对一”        one vs one        共训练N(N-1)/2个分类器,投票 (其中N为类别数)

“一对其余”    one vs rest/ one vs all       共训练N个分类器,投票

“多对多”

六、类别不平衡问题

假设 正例<反例

“再平衡”“再缩放”:根据正、反例比例调节阈值

对反例“欠采样”

对正例“过采样”

注意:这里“欠采样”与“过采样”均有专门算法,不能简单“随机丢弃”或者“随机重复”。

 

#逻辑回归即LR;

多元回归,若要考虑特征之间的相互关系,著名的有FM模型;

以上是关于基础知识三线性模型的主要内容,如果未能解决你的问题,请参考以下文章

机器学习 —— 基础整理:线性回归;二项Logistic回归;Softmax回归;广义线性模型

机器学习基础——推导线性回归公式

numpy基础(part15)--线性模型

如何搞懂机器学习中的线性回归模型?机器学习系列之线性回归基础篇

线性分类知识记录

PyTorch基础教程1线性模型(学不会来打我啊)