漫步最优化三十——非精确线搜索

Posted 2022-12-09 会敲键盘的猩猩

$\\textbf说明：今天10.24，祝<a href="https://www.u72.net" target="_blank"><strong class="keylink">程序员</strong></a>们节日快乐，呜啦啦啦$

$\\textbf爱上一个人后，$
$\\textbf发现自己变得主动了，$
$\\textbf感觉什么都值得去做。$
$\\textbf我想大声宣布，$
$\\textbf我对你依依不舍，$
$\\textbf我想牵着你的手不放开，$
$\\textbf我想简简单单爱。$
$\\textbf我的肩膀任你依靠，$
$\\textbf我的胸口任你锤锤，$
$\\textbf永远单纯没有悲哀，$
$\\textbf像这样一直走下去。$
$\\textbf——畅宝宝的傻逼哥哥$

在多维算法中，大部分计算量都用在执行线搜索时函数与梯度的运算上，因此所需要的运算量主要依赖于所用线搜索的效率与精度。如果需要高精度的线搜索，那么计算量就比较大。如果非精确线搜索不影响算法的收敛，那么我们可能减少计算量。

实际发现许多优化算法可以容忍不精确的线搜索，正由于此，对于这些方法我们使用非精确线搜索。

假设

$$\\mathbfx_k+1=\\mathbfx_k+\\alpha\\mathbfd_k$$

其中$\\mathbfd_k$是给定的方向向量且$\\alpha$是无关的搜索参数，存在某个正值$\\alpha$，使得函数$f(\\mathbfx_k+1)$有唯一的极小值，泰勒级数的线形近似为

$$f(\\mathbfx_k+1)=f(\\mathbfx_k)+\\mathbfg_k^T\\mathbfd_k\\alpha$$

其中

$$\\mathbfg_k^T\\mathbfd_k=\\fracdf(\\mathbfx_k+\\alpha\\mathbfd_k)d\\alpha|_\\alpha=0$$

上面等式表示图1中的直线$A$，等式
$$f(\\mathbfx_k+1)=f(\\mathbfx_k)+\\rho\\mathbfg_k^T\\mathbfd_k\\alpha$$

表示直线$B$，其中0≤ρ≤采用Armjio非精确线搜索求步长的FR非线性共轭梯度法--MATLAB实现

第二章 线搜索技术

漫步最优化三十一——梯度法

漫步最优化三十五——共轭

漫步最优化三十三——牛顿法

漫步最优化三十四——高斯-牛顿法