无约束优化方法-直接方法（坐标轮换法）

Posted 2023-04-28

参考技术A 无约束最优化方法的一般步骤可以总结如下：

可以看出无约束优化算法的关键几点：初始值，方向设计，步长因子，终止条件。其中搜索方向是各种无约束方法的主要特征。

无约束优化法可以通过有无使用梯度信息分为直接法和间接方法。其中，直接法，即只需要计算，比较函数值来确定迭代方向和步长的方法。其优点是不需要函数有较好的解析性质。适用范围广，可靠性较高。而在工程实际中，函数形式往往比较复杂，不易求导数，直接法比较适合采用。缺点相对利用导数信息的间接法收敛速度慢。

坐标（变量）轮换法是最简单最易理解的直接方法。其由D‘esopo于1959年提出，其基本思想是把含有n个变量的优化问题轮换转为单变量的优化问题，即每次沿某一个坐标轴进行一维搜索的问题。算法步骤：

Algorithm 1 坐标轮换法

坐标轮换法逻辑简单，易于掌握，但计算效率低，对维数较高的优化问题更为突出，通常用于低维优化问题；此外，这种方法的收敛效果很大程度上取决于目标函数的等值线的形状：

运筹学（最优化理论）学习笔记 | 共轭梯度法

最近博主复习了一下无约束问题最优化算法中的共轭梯度法。无约束问题最优化方法包括最速下降法、牛顿法、共轭梯度法、拟牛顿法等等。借用书中的一句话：

无约束优化问题的求解通过一系列一维搜索来实现。因此怎样选择搜索方向是解无约束问题的核心，搜索方向的不同选择，形成不同的最优化方法

 

既然我们说到搜索方向的不同选择会形成不同的最优化算法，那么今天复习的共轭梯度法是基于共轭方向的一种算法。那么问题来了，什么是共轭方向?

其实说白了两个方向共轭和两个方向正交从某种角度来说意思差不多，只不过正交在观感上更容易被大家理解，而共轭也是两个方向之间一种特殊的关系，只不过是通过正定矩阵将这两个方向联系起来。

 

在介绍完共轭方向之后，接下来介绍共轭梯度法（简称FR法），书中说道：

共轭梯度法的基本思想是把共轭性与最速下降方法相结合，利用已知点的梯度构造一组共轭方向，并沿这组方向进行搜索，求出目标函数的极小点

 

接下来不太想给出完整的证明，如果各位小伙伴想看完整的证明可以看