机器学习 - 第3章 - 线性模型

Posted 2020-12-15 kisekipurin2019

[f( extbf{x})= extbf{w}^T extbf{x}+b ]

可解释性好。

存在序关系的属性可以转化为连续值，而不存在序关系的属性，若有 (k) 个属性值，则通常转化为 (k) 维向量。

例如：

属性“身高”的取值“高”、“矮”可以转化为 ({1.0,0.0}) ，而属性“瓜类”的取值“西瓜”、“南瓜”、“黄瓜”可以转化为 ((0,0,1),(0,1,0),(1,0,0)) 。

线性回归试图使得 (f(x_i)=wx_i+b) 的值接近 (y_i) 的值。

关键在于如何衡量 (f(x)) 和 (y) 之间的差别。

均方误差是回归任务中最常用的性能度量，可以试图使得均方误差最小化。

均方误差拥有非常好的几何意义，对应了常用的欧几里得距离。

基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。

求解 (w) 和 (b) 使得 (E_(w,b)=sum_{i=1}^{m}(y_i-wx_i-b)^2) 最小化的过程，称为线性回归模型的最小二乘参数估计。

将(E_(w,b)) 对 (w) 和 (b) 求偏导，得到

//TODO

然后让上式为0就得到了 (w) 和 (b) 最优解的闭式解。