吴恩达机器学习17：正规方程

Posted 2021-02-05 bigdata-stone

1.对某些线性回归问题，正规方程给出了更好的解决方法，来求得参数θ，截止到目前我们一直使用线性回归算法是梯度下降法，为了最小化代价函数J(θ)，我们使用梯度下降多次迭代，来收敛得到全局的最小值。与此相反的正规方程提供了一种求θ的解析方法，我们不需要再去运用迭代的方法，而是可以直接一次性的求解θ最优值。

　　(1)例1：假设有个简单的代价函数J(θ)，它是实数θ的函数，所以现在假设θ是一个标量或者一个实数值，只是一个数字，不是矢量，假设代价函数J是这个实参数θ的二次函数，所以J(θ)看起来是这样的：

　　　　

　　怎么最小化一个二次函数呢？