梯度下降法注意要点
Posted tommyngx
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了梯度下降法注意要点相关的知识，希望对你有一定的参考价值。
1.不同的起始点，可能导致最后得到的局部最小值点不同。
2.同时更新：
以代价函数J(θ0,θ1)为例：
我们的目的就是要同时迭代更新θ0和θ1，直到下面这个式子收敛，这也是梯度下降法的核心
其中，j取值为0和1。
每次迭代的时候，我们需要同时更新θ1?,θ2?,...,θn，我个人的理解就是，先都用原来的θ1?,θ2?,...,θn，对各自的θj求完偏导数之后，再进行迭代更新：
直接上图，更能解释清楚：
以上是关于梯度下降法注意要点的主要内容，如果未能解决你的问题，请参考以下文章