机器学习入门系列一（关键词：单变量线性回归，梯度下降法）

Posted 2022-12-09 walegahaha

如上图所示，我们的目标是希望通过这些数据得到城市人口数和利润可能的对应关系，并可以通过城市人口数（利润）来预测它的利润（城市人口数），在这里我们先规定一下符号记法。

符号	含义
$m$	训练样本的个数
$x$	训练样本中的输入变量（特征）
$y$	训练样本中的输出变量（特征）
$(x^(i),y^(i))$	第$i$个训练样本
$h_\\theta(x)$	输入变量$x$与输出变量$y$的映射关系

在本例中，训练样本个数$m$为97；输入变量$x$为城市人口数，其中$x^(i)$表示第$i$个城市的人口数；输出变量$y$为利润，其中$y^(i)$表示第$i$个城市所得利润。有了训练样本，下一步我们需要用一种算法得到一个比较好的映射关系$h_\\theta(x)$，当给定城市人口数$x^*$时，通过映射关系可以得到一个符合训练样本规律的合理的利润$y^*$。由于我们现在讨论的是比较简单的单变量的线性回归，因此我们假设

$$h_\\theta(x)=\\theta_0+\\theta_1x\\tag1$$ 现在我们要选择一组 $\\theta_0$， $\\theta_1$，使得在训练集中对于给定 $x$，$h_\\theta(x)$尽可能地接近 $y$，因为只有这样，$h_\\theta(x)$才能更为接近训练样本的规律，才能进行更为准确的预测。汉语言中的“尽可能地接近”非常的抽象，此时我们要把它转化为数学语言。不妨用数值之差的平方来表示，事实证明用这种表示方法可以更为方便地进行后续的数学处理。 $$\\mathop\\textargmin_\\theta_0,\\theta_1\\,\\frac12m\\sum_i=1^m \\left(h_\\theta(x^(i))-y^(i)\\right)^2\\tag2$$
为方便说明，我们在此定义一个代价函数 $J(\\theta_0,\\theta_1)$。这样，问题就转化为寻找一组 $\\theta_0$， $\\theta_1$使得 $J(\\theta_0,\\theta_1)$最小。 J(θ0,θ1)=12m∑i=1m(hθ(x