漫步最优化三十二——最速下降法

Posted 2022-12-06 会敲键盘的猩猩

$\\textbf爱需要勇气，$
$\\textbf但是也许是天意，$
$\\textbf让我爱上你，$
$\\textbf也许轮回里早已注定，$
$\\textbf今生就该还给你。$
$\\textbf一颗心在风雨里，$
$\\textbf飘来飘去，$
$\\textbf一直都在等待你。$
$\\textbf——畅宝宝的傻逼哥哥$

考虑优化问题
$$\\textmiminize\\ F=f(\\mathbfx)\\quad\\textfor\\ \\mathbfx\\in E^n$$

根据泰勒级数

$$F+\\Delta F=f(\\mathbfx+\\delta)\\approx f(\\mathbfx)+\\mathbfg^T\\delta+\\frac12\\delta^T\\mathbfH\\delta$$

当$\\lVert\\delta\\rVert\\to0$，由于$\\delta$引起的$F$变化量为
$$\\Delta F\\approx\\mathbfg^T\\delta$$

右边是向量$\\mathbfg,\\delta$的点乘，如果

$$\\beginalign* \\mathbfg&=[g_1\\ g_2\\ \\cdots\\ g_n]^T\\\\ \\delta&=[\\delta_1\\ \\delta_2\\ \\cdots\\ \\delta_n]^T \\endalign*$$

那么

$$\\Delta F\\approx\\sum_i=1^ng_i\\delta_i=\\lVert\\mathbfg\\rVert\\lVert\\delta\\rVert\\cos\\theta$$

其中$\\theta$是向量$\\mathbfg,\\delta$之间的夹角且

$$\\lVert\\mathbfg\\rVert=(\\mathbfg^T\\mathbfg)^1/2=\\left(\\sum_i=1^ng_i^2\\right)^1/2$$
$\\textbf上升与下降方向$

考虑图1的图像，如果 x,x+δ以上是关于漫步最优化三十二——最速下降法的主要内容，如果未能解决你的问题，请参考以下文章

优化理论05----最速下降法最速下降法思想python实现

最优化学习 最速下降法（steepest Descent)

最速梯度下降

最优化学习笔记最速下降法

梯度下降法Gradient descent（最速下降法Steepest Descent）

无约束优化问题