[最优化算法]最速下降法求解无约束最优化问题

Posted 2022-11-30 kasperskynod

1. 问题描述

最优化问题的一般形式如下所示：
对于$f:D\\subseteq R^n \\rightarrow R^1$，求解

$$\\min_x\\in\\Omega f(x) \\qquad s.t. \\left\\ \\beginaligned s(x)\\geqslant0 \\\\ h(x)=0 \\endaligned\\right.$$
其中f(x)称为优化目标函数，s.t.称为约束条件。对于无约束最优化，没有约束条件要求，即在全部定义域内寻找目标函数最优值。此时，无约束最优化问题简化为如下形式：
$$\\min_x\\in\\Omega f(x)$$
针对最优化问题，我们往往不能求出全局最小点，只能求出局部最小点。因此，本文只讨论求目标函数的一个极小值。

2. 数学准备

根据高中数学知识，针对可导函数而言，函数在极值处导数为0。即$f\'(x_k)=0$是$x_k$为$f(x)$的一个极值的必要条件（不是充分条件，因为该点还可能是“驻点”）。因此，我们只需要求解$f\'(x)=0$的根并进行验证就可以了。然而，很多函数的导数可能非常复杂，不易甚至不能求出$f\'(x)=0$的解析解。这里我们设计一种数值计算的算法，通过计算机的迭代计算，求出目标函数的一个极小值，我们称之为“最速下降法”。

2.1 梯度

设$f:D\\subseteq R^n \\rightarrow R^1$，且$f(x)$处处可导，则$f(x)$在$x$处的梯度为：
$$\\nabla f(x)=[\\frac\\partial f(x)\\partial x_1,\\frac\\partial f(x)\\partial x_2,\\cdots,\\frac\\partial f(x)\\partial x_n]$$
梯度类似于一元函数中的导数。负梯度方向是函数下降最快的方向，称为“最速下降方向”。

2.2 Hessian矩阵

设$f:D\\subseteq R^n \\rightarrow R^1$，且$f(x)$处处可导，则$f(x)$在$x$处的Hessian矩阵为：
∇2f(x)=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂2f(x)∂x21∂2f(x)∂x2∂x1⋮∂2f(x)∂xn∂x1∂2f(x)∂x1∂x2[最优化算法]最速下降法求解无约束最优化问题

无约束优化问题

最优化算法

优化理论09-----线性等式约束问题的投影方法投影最速下降算法解决方向查找问题(DFP)牛顿法的修正在线性等式约束变度量法

优化理论05----最速下降法最速下降法思想python实现

Python实现简单的梯度下降法