反向梯度方向是函数值局部下降最快的方向

Posted 2021-01-16 wongyi

在SLAM中，机器学习中等关于梯度下降的应用还是蛮多的，但是关于“反向梯度方向是函数值局部下降最快的方向”等概念的解释，不是特别清晰，下面附上自己的一些理解。

名词解析：

梯度：

梯度是一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着梯度的方向变化最快。

设在平面区域D上具有一阶连续偏导数，为一个单位向量，如果下列的极限值存在

此方向导数记为

则称这个极限值是沿着方向的方向导数，那么随着的不同，我们可以求出任意方向的方向导数.

简化计算如下：

 

设,

那么我们可以得到：

(为向量与向量之间的夹角)

那么此时如果要取得最大值，也就是当为0度的时候，也就是向量（这个方向是一直在变，在寻找一个函数变化最快的方向）与向量（这个方向当点固定下来的时候，它就是固定的）平行的时候，方向导数最大.方向导数最大，也就是单位步伐，函数值朝这个反向变化最快.

函数值下降最快的方向就是和向量相同的方向.那么此时我把A向量命名为梯度（当一个点确定后，梯度方向是确定的），也就是说明了为什么梯度方向是函数变化率最大的方向了！！！

那么沿着反向梯度方向前进就可以找到最快的下降方式了。