漫步最优化三十六——基本共轭方向法

Posted 2022-11-30 会敲键盘的猩猩

$\\textbf用我的眼神，$
$\\textbf拍下你的睫毛，$
$\\textbf你微笑的嘴角。$
$\\textbf你的微笑像毒药，$
$\\textbf却洋溢着幸福的味道。$
$\\textbf我就是戒不掉，$
$\\textbf你粉嫩清秀的外表，$
$\\textbf像多汁的水蜜桃。$
$\\textbf你亮丽的唇膏，$
$\\textbf充盈着自信的骄傲。$
$\\textbf就想一直咬着水蜜桃，$
$\\textbf看着你的骄傲。$
$\\textbf——畅宝宝的傻逼哥哥$

上篇文章最后给出的 $\\mathbfx^*$计算公式可以迭代运算，从初始点 $\\mathbfx_0=\\mathbf0$开始，连续进行 $n$次调整$\\alpha_k\\mathbfd_k$。也就是说由关系
$$\\mathbfx_k+1=\\mathbfx_k+\\alpha_k\\mathbfd_k$$

其中

$$\\alpha_k=-\\frac\\mathbfb^T\\mathbfd_k\\mathbfd_k^T\\mathbfH\\mathbfd_k$$

生成一个序列，$\\mathbfx_0=\\mathbf0$，当$k=n-1$时收敛到

$$\\mathbfx_n=\\mathbfx^*$$

从任意初始点$\\mathbfx_0$开始都能得到相似的结果，这个事实可以用下面的定理得到证实。

$\\textbf定理1：$如果$\\\\mathbfd_0,\\mathbfd_1,\\ldots,\\mathbfd_n-1\\$是非零共轭方向构成的集合，$\\mathbfH$是$n\\times n$的正定矩阵且问题

minimizex f(x)=a+xTb+1以上是关于漫步最优化三十六——基本共轭方向法的主要内容，如果未能解决你的问题，请参考以下文章

漫步最优化三十五——共轭

无约束最优化(二) 共轭方向法与共轭梯度法

最优化之凸集凸函数上确界Jensen不等式共轭函数Fenchel不等式拉格朗日乘子法KKT条件

最优化之凸集凸函数上确界Jensen不等式共轭函数Fenchel不等式拉格朗日乘子法KKT条件

漫步最优化三十一——梯度法

漫步最优化三十二——最速下降法