机器学习入门系列二（关键词：多变量(非)线性回归，批处理，特征缩放，正规方程）

Posted 2022-12-08 walegahaha

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了机器学习入门系列二（关键词：多变量(非)线性回归，批处理，特征缩放，正规方程）相关的知识，希望对你有一定的参考价值。

一、多变量的线性回归

在#机器学习系列一#中，我们讨论了单变量的线性回归，而多变量的线性回归与单变量类似，一致内容就不再赘述了。首先我们来看一个例子，下表是波特兰的房子价格，针对不同的房屋面积和卧室间数。

房屋面积/ $ft^2$	卧室/间	价格/美元	房屋面积/ $ft^2$	卧室/间	价格/美元
2104	3	399900	1962	4	259900
1600	3	329900	3890	3	573900
2400	3	369000	1100	3	249900
1416	2	232000	1458	3	464500
3000	4	539900	2526	3	469000
1985	4	299900	2200	3	475000
1534	3	314900	2637	3	299900
1427	3	198999	1839	2	349900
1380	3	212000	1000	1	169900
1494	3	242500	2040	4	314900
1940	4	239999	3137	3	579900
2000	3	347000	1811	4	285900
1890	3	329999	1437	3	249900
4478	5	699900	1239	3	229900
1268	3	259900	2132	4	345000
2300	4	449900	4215	4	549000
1320	2	299900	2162	4	287000
1236	3	199900	1664	2	368500
2609	4	499998	2238	3	329900
3031	4	599000	2567	4	314000
1767	3	252900	1200	3	299000
1888	2	255000	852	2	179900
1604	3	242900	1852	4	299900
1203	3	239500

在这里我们先规定一下符号记法：

符号	含义
$m$	训练样本的个数
$n$	每个训练样本的特征个数
$x$	训练样本中的输入变量
$y$	训练样本中的输出变量
$(x^(i),y^(i))$	第 $i$ 个训练样本
$x^(i)_j$	第 $i$ 个训练样本的输入变量的第 $j$ 个特征
$h_\\theta(x)$	输入变量 $x$ 与输出变量 $y$ 的映射关系

在本例中，训练样本个数 $m$ 为47；输入变量的特征数 $n$ 为2，分别为房屋面积和卧室间数； $x^(i)_1$ 为第 $i$ 个样本的房屋面积， $x^(i)_2$ 为第 $i$ 个样本的卧室间数， $y^(i)$ 为第 $i$ 个样本的房屋价格，例 $x^(1)=\\beginbmatrix2104&3\\endbmatrix ^ \\mathrm T$ ， $y^(1)=399900$ 。有了训练样本，下一步我们需要用一种算法得到一个比较好的映射关系 $h_\\theta(x)$ ，当给定房屋面积和卧室间数 $x^*$ 时，通过映射关系可以得到一个符合训练样本规律的房屋价格 $y^*$ 。由于我们现在讨论的是多变量的线性回归，因此我们假设

hθ(x)=θ0+θ1x1+θ2x2(1) $h_\\theta(x)=\\theta_0+\\theta_1x_1+\\theta_2x_2\\tag1$
同单变量线性回归一样，我们定义一个代价函数

J(θ0,θ1,θ2) $J(\\theta_0,\\theta_1,\\theta_2)$ 。这样，问题就转化为寻找一组

θ0 $\\theta_0$ ，

θ1 $\\theta_1$ ，

θ2 $\\theta_2$ 使得

J(θ0,θ1,θ2) $J(\\theta_0,\\theta_1,\\theta_2)$ 最小。

机器学习入门：多变量线性回归

机器学习入门系列三（关键词：逻辑回归，正则化）

机器学习入门：线性回归及梯度下降

机器学习 | 实验二：多变量线性回归