机器学习 单变量线性回归 Linear Regression with One Variable

Posted 2020-08-06

文章内容均来自斯坦福大学的Andrew Ng教授讲解的Machine Learning课程，本文是针对该课程的个人学习笔记，如有疏漏，请以原课程所讲述内容为准。感谢博主Rachel Zhang和 JerryLead 的个人笔记，为我做个人学习笔记提供了很好的参考和榜样。

 

---

 

§ 1.  单变量线性回归 Linear Regression with One Variable

 1. 代价函数Cost Function 

在单变量线性回归中，已知有一个训练集有一些关于x、y的数据(如×所示)，当我们的预测值h(x)被假设为h(x)=theta_0+theta_1*x时，我们要使得theta_0、theta_1两个参数所表示的直线(蓝线)尽量与这些数据点很好地拟合。想要实现这个思路，就需要使得同一x对应的h(x)与y 尽量相近。在这样的假设中，J(theta_1,theta_2)被称为Cost Function(也称平方误差代价函数)，我们在实验过程中应该使得这一函数值尽量小。在这样的h(x)中，只出现了一个变量x，因此也叫单变量(One Variable)；以后也可能会出现多变量的情况，比如h(x1,x2)=theta_0+theta_1*x1+theta_2*x2.

 单参数的情况下非常容易理解：在这里，Andrew Ng将h(x)简化，使得theta_0=0，只考虑theta_1。再举例示范了一下由J(theta_1)确定theta_1值的过程。

 

单参数情况下，得出的J(theta_1)是一个弓形，而当有两个参数的时候则有所不同。

有两个参数的情况下，得出的J(theta_0,theta_1)是一个3D的碗状图形，三个坐标轴分别代表了两个参数theta_0,theta_1和代价函数J(theta_0,theta_1)。

但通常，我们用轮廓图(Contour Plot or Coutour Figure)来表示这样的3D图片。

上右即为轮廓图。在同一个椭圆上的各个点，J(theta_0,theta_1)的值是相同的，而越靠中心的椭圆则J值越小。

 

 

2.梯度下降算法Gradient Descent

梯度下降算法被广泛运用在机器学习领域中。本章中，主要介绍利用梯度下降算法(Gradient Descent)最小化线性回归的代价函数。

1 初始设定theta_0与theta_1，一般将二者都初始化为0

2 不断改变theta_0与theta_1，使得J减小  

3 直到找到最小值时结束

 

把Cost Function的图形想成山，而你在山上的某一点，那么梯度下降算法就是环顾四周，找到最快下山的路径，迈出一步，然后再环顾四周，找到最快下山的路径，再迈出一步，如此反复。

但梯度下降算法有一个特点，如果你从稍微偏一些的角度作为初始化点，那么完全可能去到另一个局部最优解的点上，与之前的完全不同。例如下图：

 

但事实上线性回归的代价函数总是一个凸函数(Convex Function)，这样的函数只个全局最优解，不存在有多个局部最优解的情况，所以不需要考虑这个问题。

 

具体的算法如下：

其中α表示学习速率(Learning Rate)表示我们以多大幅度更新theta_j

注意：我们应该像左边的情况这样实现同步更新(Simultaneous Update),否则就会出现错误。

例题(考察了一下同步更新)：

 

对于粉色方框里的导数项，则表示了与蓝线相切的红线的斜率。

关于学习速率α，如果过小，那么梯度下降的速度会很慢；如果过大，那么可能难以收敛，甚至会发散。所以应该适当地选择α。

如果出现theta_1已是局部最优解的情况，那么在那一点，它的切线斜率为0，因此theta_1不会改变。可见，即使α不变，梯度下降算法也能找到局部最优点。

由于每接近局部最优解一些，梯度下降算法都会自动的把下降幅度变小，因此无需随之减小α

 

推导可得：

而后引入批量梯度下降算法的概念：即在梯度下降算法的每一步都用到了所有的训练样本。

 

 

在数据量较大的情况下，梯度下降算法比正规方程适用。

 

 

---

笔记目录

(一)单变量线性回归 Linear Regression with One Variable

(二)多变量线性回归 Linear Regression with Multiple Variables

(三)逻辑回归 Logistic Regression 

(四)正则化与过拟合问题 Regularization/The Problem of Overfitting

(五)神经网络的表示 Neural Networks:Representation

(六)神经网络的学习 Neural Networks:Learning

(七)机器学习应用建议 Advice for Applying Machine Learning 

(八)机器学习系统设计Machine Learning System Design

(九)支持向量机Support Vector Machines

(十)无监督学习Unsupervised Learning

(十一)降维 Dimensionality Reduction

(十二)异常检测Anomaly Detection

(十三)推荐系统Recommender Systems

(十四)大规模机器学习Large Scale Machine Learning