正规方程

Posted 郑哲

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了正规方程相关的知识,希望对你有一定的参考价值。

梯度下降提供了一种最小化J的方法。让我们讨论第二种方法,这一次显式地执行最小化,而不用迭代算法。在“方程”的方法,我们将最大限度地减少J通过明确其衍生物相对于θJ的,并使其为零。这使我们能够在没有迭代的情况下找到最佳θ。下面给出正规方程公式。

 

 

正规方程不需要进行特征缩放。


下面是梯度下降和正规方程的比较:

 

 

用正规方程计算,时间复杂度为O(n^3)。因此,如果我们有大量的特征,正常的方程将是缓慢的。实际上,当n超过10000时,可能是从正常解决方案到迭代过程的好时机。

 

以上是关于正规方程的主要内容,如果未能解决你的问题,请参考以下文章

机器学习之——正规方程法

正规方程(Normal Equation)——对于线性回归问题的一种快速解法

梯度下降和正规方程没有给出相同的结果,为啥?

线性回归的基本概念以及正规方程

标准方程法(正规方程法)

正规方程法