线性模型

Posted 2022-12-10 ZJun310

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了线性模型相关的知识，希望对你有一定的参考价值。

第三章线性模型

线性模型通常表示如下：

f(x)=w1x1+w2x2+...+wnxn+b $f(x) = w_1x_1+w_2x_2+...+w_nx_n+b$
向量形式如下：

f(x)=wTx+b $f(x) = w^Tx+b$
线性模型形式简单，却蕴含着机器学习中的重要思想（

w $w$ 直观表达了各属性在预测中的重要性），许多强大的非线性模型就是在线性模型的基础上通过引入层次结构或高纬映射而得

通常给定数据集 $D = \\(x_1,y_1),(x_2,y_2),…,(x_n,y_n)\\$ ,其中 $x_i = (x_i1;x_i2;…;x_id)$ , $y_i\\in R$

线性回归试图学得

f(xi)=wxi+b s.t. f(xi)≈yi $f(x_i) = wx_i+b \\ \\ \\ \\ s.t. \\ f(x_i) \\approx y_i$

模型的学习只需确定参数 $w$ 和 $b$ ，使用最小二乘估计有目标函数：

（w∗,b∗）=arg min(w,b)∑i=1n(yi−wxi−b)2 $（w^*,b^*）= arg \\ min_\\left( w,b\\right) \\sum^n_i=1\\left(y_i-wx_i - b\\right)^2$
通过求偏导可以得到估计

w∗=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2 $w^* = \\dfrac\\sum^n_i=1(x_i-\\barx)(y_i-\\bary)\\sum^n_i=1(x_i-\\barx)^2$

b∗=y¯−wx¯ $b^* = \\bary-w\\barx$

为了便于分析，我们将 $w,b$ 吸收入向量形式 $\\hatw= (w;b)$ ，把数据集D表示为一个 $n×(d+1)$ 的矩阵 $X$

X =

基于 R的广义线性模型分析