现代信号处理 13 - 深入探讨最小二乘

Posted 2021-12-28 Ciaran-byte

深入探讨最小二乘

文章目录

• 深入探讨最小二乘
• • 1. 超定最小二乘
  • • 1.1 概述
    • 1.2 投影角度分析
    • 1.3 SVD角度分析
  • 2. 欠定最小二乘
  • • 2.1 概述
    • 2.2 投影角度分析
    • 2.3 SVD角度分析
    • 2.4 基于SVD透视欠定最小二乘
    • 2.5 应用：NLMS(Normalized LMS)
  • 3. QR分解与最小二乘
  • • 3.1 概述
    • 3.2 基于QR分解透视超定最小二乘
    • 3.3 基于QR分解实现数值稳定的上三角化
    • • 3.3.1 高斯消元中的不稳定性
      • 3.2.2 HouseHolder Reflection
      • • (1)反射
        • (2)反射矩阵
        • (3)上三角化
      • 3.2.3 Givens Rotation
    • 3.3 QR分解与递归最小二乘
  • 4. 小结

1. 超定最小二乘

1.1 概述

  超定最小二乘就是我们一般能遇到的最小二乘，具有方程数大于未知数的特点。一般来说，超定方程是没有解的，只能通过近似的方式来进行计算。下面我们相当于对前面介绍的最小二乘进行稍加复习。

1.2 投影角度分析

  一般来说，最小二乘中需要拟合的矢量并不在数据域的子空间中，因此，我们要把这个矢量投影到列空间中进行近似计算。

$$\begin{gathered} d\in R^N,Z\in R^{N\ast n},\theta \in R^n,N>n \\ d=Z\theta \Rightarrow mi{n}_{\theta }||d-Z\theta |{|}^2 \\ \Rightarrow {\hat{\theta }}_{LS}=(Z^{T}Z{)}^{-1}{Z}^{T}d \end{gathered}$$

  得到的结果就是一个投影。这里面Z是一个瘦长的矩阵

$$Z\sim \left(\begin{array}{cc}& \\ & \\ & \end{array}\right)$$

1.3 SVD角度分析

  我们也可以从奇异值分解的角度来看待超定最小二乘。

  如果Z是列满秩的，我们对Z做奇异值分解有这样的式子

$$Z=U\Lambda V^T$$

  其中

$$\Lambda =\left(\begin{array}{ccc}{\sigma }_1& & \\ & ...& \\ & & {\sigma }_n\\ & 0& \end{array}\right)=\left(\begin{array}{c}\tilde{\Lambda }\\ 0\end{array}\right)$$

  因此，最小二乘解可以做这样的变形

$$\begin{gathered} {\omega }_{LS}=[(V{\Lambda }^T{U}^T)(U\Lambda V^T){]}^{-1}(V{\Lambda }^T{U}^T)d \\ =(V{\Lambda }^T\ast \Lambda V^T{)}^{-1}\ast (V{\Lambda }^T{U}^T)d(a) \end{gathered}$$

  其中

$${\Lambda }^T\Lambda =\left(\begin{array}{cc}\tilde{\Lambda }& 0\end{array}\right)\ast \left(\begin{array}{c}\tilde{\Lambda }\\ 0\end{array}\right)={\tilde{\Lambda }}^2(b)$$

  (b)代入(a)中可得

ω L S = V ∗ ( σ 1 − 2 . . . σ n − 2 ) V T ∗ ( V ( σ 1 . . . 0 σ n ) U T ) d = V ( σ 1 − 1 . . . 0 σ n − 1 ) ∗ U T d = Z + d \\omega_LS = V* \\beginpmatrix \\sigma_1^-2 & \\\\ &...\\\\ &&\\sigma_n^-2\\\\ \\endpmatrix V^T *(V \\beginpmatrix \\sigma_1 & \\\\ &...&&0\\\\ &&\\sigma_n\\\\ \\endpmatrix U^T) d \\\\ = V\\beginpmatrix \\sigma_1^-1 & \\\\ &...&&0\\\\ &&\\sigma_n^-1\\\\ \\endpmatrix *U^T d =Z^+d\\\\ ωLS​=V∗⎝⎛​σ1−2​​...​σn−2​​⎠⎞​VT∗(V⎝⎛​σ1​​...​σ现代信号处理 11 -递归最小二乘

基于接收信号强度（RSS）的室内定位/无线传感器网络定位——极大似然估计ML/最小二乘估计WLS

基于接收信号强度（RSS）的室内定位/无线传感器网络定位——极大似然估计ML/最小二乘估计WLS

基于接收信号强度（RSS）的室内定位/无线传感器网络定位——极大似然估计ML/最小二乘估计WLS

现代信号处理09 - 自适应与LMS

MATLAB点云处理（十八）：直线拟合（最小二乘 | RANSAC）