正规方程

Posted zenan

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了正规方程相关的知识,希望对你有一定的参考价值。

正规方程: 
对于上面的线性回归算法我们都是采用的梯度下降法,使得损失函数最小,而对于线性回归算法还有另外一种使得损失函数最小的方法,那就是正规方程。 
正规方程式通过求解下面的方程来找出使得代价函数最小的参数: 
?J(θj)/?θj=0 
假设我们的训练集特征矩阵为X(包含x0=1)并且训练集结果为向量y,利用正规方程可以解得参数θ=XTX?1XTy 
其中,T代表矩阵的转置,上标-1代表矩阵的逆运算。 
举例来看一下正规方式的使用: 
技术分享图片 
这就是上述每个矩阵的构建方式,然后带入公式就可以求得待求参数(一般针对矩阵化的编程语言,求逆一般都有现成的函数可以调用)。 
从求取参数的式子中我们不难发现,当求待求的参数θ时,需要一个求逆的过程,但是不是所有的矩阵都有逆矩阵的,一般当出现下列情况四,矩阵不可逆:

  1. 特征之间不独立,比如在描述身高时,选取的两个特征为米和英尺,因为这两个之间存在着一种换算关系:1米(m)=3.2808399英尺(ft),所以这两个特征不是独立的,这种情况下,矩阵是不可逆的。
  2. 当特征的数量大于训练集的数量时,正规方程也是不能用的。

当使用正规方程时: 
1.首先确定是否有相关的特征,如果存在相关的特征,则去除相关特征; 
2.当特征的数目较多时,可以去除一些不重要的特征,用少量的特征表示尽可能多的内容。 
下面来比较一下梯度下降法和正规方程的优劣: 
梯度下降法的优势: 
1.当特征的数量比较大时(特征的数量超过10000),也能够很好的实现损失函数最小化,同时时间复杂度不是很高;而当特征的数量比较大时,使用正规方程求解逆运算是非常耗时的,所以此时使用梯度下降法比较合适。 
2.梯度下降法适用于所有类型的模型,而正规方程的方法一般只适用于线性模型,不适合逻辑回归等其他模型。 
正规方程的优势: 
1.当特征点的数量不是很大时,使用正规方程更加简答,不需要像梯度下降算法一样迭代实现,一次计算就可以得出最优参数。 
2.对于梯度算法来说,性能的好坏还与学习率的设置有关,学习率设置不合适,时间消耗较长,甚至得不到最优解,而正规方程的方法不需要学习率的设置。



















以上是关于正规方程的主要内容,如果未能解决你的问题,请参考以下文章

机器学习之——正规方程法

正规方程(Normal Equation)——对于线性回归问题的一种快速解法

梯度下降和正规方程没有给出相同的结果,为啥?

线性回归的基本概念以及正规方程

标准方程法(正规方程法)

正规方程法