最优化理论·非线性最小二乘

Posted 2022-10-29 tina_ttl

最优化理论·非线性最小二乘

标签（空格分隔）： 数学

非线性最小二乘问题是椭圆拟合中最易遇到的优化问题，本文主要对非线性二乘的基本分析做简单介绍

1. 什么是最小二乘问题

目标函数能够写为m个函数平方和的优化问题

其中，每个函数$f_i(x)$都是待优化向量$x$的函数。

2.非线性最小二乘问题

• 当$f_i(x)$是关于$x$的非线性函数时，即为非线性优化问题
• 此时，需要利用Taylor一阶展开近似$f_i(x)$

2.1 $f_i(x)$的一阶近似

• 设$x^{(k)}$是解$x$的第k次近似，在此处将$f_i(x)$进行一阶展开，并令一阶展开值为${\phi }_i(x)$
  

• 对上式进行整理，得到
  
  

• 可以看到，一阶近似${\phi }_i(x)$是关于待优化向量$x$的线性函数：

  • 
    是$f_i(x)$的梯度【$f_i(x)$对向量x求导】在$x^{(k)}$处的取值
  • 
    是$f_i(x)$在$x^{(k)}$处的取值

2.2 F(x)的近似

在得到$f_i(x)$的一阶近似后，便可以计算得到F(x)的一阶近似，该一阶近似为$\Phi (x)$：

2.3 分析$\Phi (x)$的具体形式

• 将平方和形式写为行向量、列向量乘积形式
  $$\Phi (x)=\left[{\phi }_1(x),{\phi }_2(x),\cdots {\phi }_m(x)\right]\cdot \left[\begin{array}{c}{\phi }_1(x)\\ {\phi }_2(x)\\ \dots \\ {\phi }_m(x)\end{array}\right]$$

• 将${\phi }_i(x)$的具体形式代入
  $$\left[\begin{array}{c}{\phi }_1(x)\\ {\phi }_1(x)\\ \dots \\ {\phi }_1(x)\end{array}\right]=[\begin{array}{c}▽f_1(x^{(k)}{)}^T\cdot x-\left[▽f_1(x^{(k)}{)}^T-f_1(x^{(k)})\right]\\ ▽f_2(x^{(k)}{)}^T\cdot x-\left[▽f_2(x^{(k)}{)}^T-f_2(x^{(k)})\right]\\ \dots \\ ▽f_m(x^{(k)}{)}^T\cdot x-[▽f_m(x^{(k)}{)}^{以上是关于最优化理论·非线性最小二乘的主要内容，如果未能解决你的问题，请参考以下文章}\end{array}$$

  基于最小二乘的孪生有界支持向量机分类算法

  SLAM中的优化理论

  LSSVM回归预测基于matlab人工蜂群算法优化最小二乘支持向量机LSSVM数据回归预测含Matlab源码 2213期

  LSSVM回归预测基于matlab天鹰算法优化最小二乘支持向量机AO-LSSVM数据回归预测含Matlab源码 1848期

  LSSVM回归预测基于matlab天鹰算法优化最小二乘支持向量机AO-LSSVM数据回归预测含Matlab源码 1848期

  lssvm预测基于鲸鱼算法优化lssvm数据预测matlab源码