梯度下降的直觉
Posted 郑哲
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了梯度下降的直觉相关的知识，希望对你有一定的参考价值。
我们探讨的情况下，我们使用一个参数θ1和绘制其成本函数来实现梯度下降。我们对一个参数的公式是
重复直至收敛：
不管斜坡的标志
是什么，θ1最终收敛到最小值。下面的图表显示，当斜率为负，价值θ1增加当它是正的，对θ1值减
另一方面，我们应该调整参数α，以确保梯度下降算法在合理的时间内收敛。未能收敛或太多的时间来获得最小值意味着我们的步长是错误的.
梯度下降是如何与固定步长α收敛的。
在收敛的直觉是
接近0我们的凸函数的底。至少，导数总是0，这样我们就可以得到：
以上是关于梯度下降的直觉的主要内容，如果未能解决你的问题，请参考以下文章