优化理论15----进退法python实现

Posted 2021-06-24 炫云云

一维搜索——进退法

文章目录

• 一维搜索——进退法
• • 进退法原理
  • 算法步骤
  • python实现
  • 参考资料

最优化知识笔记整理汇总，超级棒

进退法原理

进退法 :用来确定搜索区间（包含极小点的区间）的算法

其理论依据为： $f(x)$ 为单谷函数（只有一个极小值），且 $[a,b]$ 为其极小点的一个搜索区间，对于任意 $x_1,x_2\in [a,b]$ ，如果 $f\left(x_1\right)<f\left(x_2\right)$ ，则 $\left[a,x_2\right]$ 为极小点的搜索区间，如果 $f\left(x_1\right)>f\left(x_2\right)$ ，则 $\left[x_1,b\right]$ 为极小点的搜索区间。

基本思想：对$f\left(x\right)$任选一个，初始点 $x_0$ ，及初始搜索步长 $h$ ,通过比较这两点函数值的大小，确定第三点位置，比较这三点的函数值大小，确定是否为“高-低-高”形态。

因此，在给定初始点 $x_0$ ，及初始搜索步长 $h$ 的情况下，首先以初始步长向前搜索一步，计算 $f\left(x_0+h\right)$ 。

（1）如果 $f\left(x_0\right)<f\left(x_0+h\right)$

则可知搜索区间为 $\left[\tilde{x},x_0+h\right]$ ，其中 $\tilde{x}$ 待求，为确定$\tilde{x}$ 后退一步计算 $f\left(x_0-\lambda h\right)$ ， $\lambda$ 为缩小系数，且 $0<\lambda <1$ ，直至找到合适的 ${\lambda }^{\ast }$，使得 $f\left(x_0-{\lambda }^{\ast }h\right)>f\left(x_0\right)$ ，从而确定搜索区间$\left[x_0-{\lambda }^{\ast }h,x_0+h\right]$ ；

（2）如果 $f\left(x_0\right)>f\left(x_0+h\right)$

则可知搜索区间为 $\left[x_0,\tilde{x}\right]$ ，其中 $\tilde{x}$ 待求，为确定$\tilde{x}$ ，前进一步计算 $f\left(x_0+\lambda h\right)$ ， $\lambda$ 为放大系数，且 $\lambda >1$ ，直至找到合适的 ${\lambda }^{\ast }$ ，使得 $f\left(x_0+h\right)<f\left(x_0+{\lambda }^{\ast }h\right)$ ，从而确定搜索区间 $\left[x_0,x_0+{\lambda }^{\ast }h\right]$ 。

算法步骤

用进退法求一维无约束问题 $\min f(x),x\in \mathbf{R}$ 的搜索区间（包含极小点的区间）的基本算法步骤如下：

【1】给定初始点 $x^{(0)}$ ，初始步长 $h_0$ ，令 $h=h_0,x^{(1)}=x^{(0)},k=0$ ；

【2】令 $x^{(4)}=x^{(1)}+h$ ，置 $k=k+1$ ；

【3】若 $f\left(x^{(4)}\right)<优化理论13----黄金分割法单峰函数python实现及验证$

优化理论14----二分法二分法与黄金分割法比较python实现

Python实现简单的梯度下降法

优化理论16----Armijo-Goldstein准则 Armijo-Goldstein搜索方法python实现

运筹学（最优化理论）学习笔记 | 共轭梯度法

优化理论10----约束优化的罚函数法外点法(Penalty method）内点法（**Barrier Methods**）混合惩罚函数法