梯度下降的例子

Posted 2023-02-24

参考技术A

举一个非常简单的例子，如求函数 的最小值。
利用梯度下降的方法解题步骤如下：
1、求梯度，
2、向梯度相反的方向移动 ，如下
，其中， 为步长。如果步长足够小，则可以保证每一次迭代都在减小，但可能导致收敛太慢，如果步长太大，则不能保证每一次迭代都减少，也不能保证收敛。
3、循环迭代步骤2，直到 的值变化到使得 在两次迭代之间的差值足够小，比如0.00000001，也就是说，直到两次迭代计算出来的 基本没有变化，则说明此时 已经达到局部最小值了。
4、此时，输出 ，这个 就是使得函数 最小时的 的取值 。
MATLAB如下。 %% 最速下降法图示% 设置步长为0.1，f_change为改变前后的y值变化，仅设置了一个退出条件。syms x;f=x^2;step=0.1;x=2;k=0;         %设置步长,初始值,迭代记录数f_change=x^2;             %初始化差值f_current=x^2;            %计算当前函数值ezplot(@(x,f)f-x^2)       %画出函数图像axis([-2,2,-0.2,3])       %固定坐标轴hold onwhile f_change>0.000000001                %设置条件，两次计算的值之差小于某个数，跳出循环    x=x-step*2*x;                         %-2*x为梯度反方向，step为步长，！最速下降法！    f_change = f_current - x^2;           %计算两次函数值之差    f_current = x^2 ;                     %重新计算当前的函数值    plot(x,f_current,'ro','markersize',7) %标记当前的位置    drawnow;pause(0.2);    k=k+1;endhold offfprintf('在迭代%d次后找到函数最小值为%e，对应的x值为%e\\n',k,x^2,x)梯度下降法处理一些复杂的非线性函数会出现问题，例如Rosenbrock函数：

其最小值在 处，函数值为 。但是此函数具有狭窄弯曲的山谷，最小点 就在这些山谷之中，并且谷底很平。优化过程是之字形的向极小值点靠近，速度非常缓慢。