超定线性方程组Ax=b极小L1范数求解——MATLAB/Python实现

Posted 2022-12-12 Z.Q.Feng

文章目录

• 一、前言
• 二、问题重述
• 二、极小模剩余向量的性质及求法
• 三、基于基追踪准则的一种求解算法
• 四、算法伪码
• 五、超定线性方程组极小 ${\ell }_1$ 范数求解Python代码
• 六、检验与测试
• • 1. 矩阵A满秩情况
  • 2. 矩阵A列缺秩情况
• 七、总结

---

一、前言

本文前半部分算法实现参考的为姚健康老师的论文，这篇论文在万方学术平台可以免费下载：http://d.g.wanfangdata.com.cn/Periodical_jxkx200701002.aspx

后半部分算法涉及到稀疏优化，我在之前的博客中介绍了实现原理并给出了代码，链接如下：稀疏优化L1范数最小化问题求解之基追踪准则(Basis Pursuit)——原理及其Python实现

整篇文章目前已总结作为论文发表，可下载：基于残差向量$l_1$范数最小化与基追踪的多元线性模型参数估计方法

---

二、问题重述

给定超定线性方程组 $Ax=b$：

$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& ...& a_{1n}\\ a_{21}& a_{22}& ...& a_{2n}\\ ...& ...& ...& ...\\ a_{m1}& a_{m2}& ...& a_{mn}\end{array}\right]\in R^{m\times n},b=\left[\begin{array}{c}{b}_1\\ b_2\\ ⋮\\ b_m\end{array}\right]\in R^{m\times 1}$$

其中 $m>n\ge 2$，求 $x={[x_1,x_2,...,x_n]}^T\in R^{n\times 1}$，使得

$$\min {\Vert Ax-b\Vert }_1=\min \sum _{i=1}^m|\sum _{j=1}^n{a}_{ij}{x}_j-b_i|\text{\hspace{1em}(1)}$$

即求超定线性方程组 $Ax=b$ 在 ${\ell }_1$ 范数意义下的解，简称 ${\ell }_1$ 范数极小化问题¹。

定义： 设 $x^{\ast }$ 为问题 $(1)$ 的解，称 $r^{\ast }=A{x}^{\ast }-b$ 为问题 $(1)$ 的极小 ${\ell }_1$ 模剩余向量。如果能求得极小 ${\ell }_1$ 模剩余向量 $r^{\ast }$，那么相容线性方程组 $Ax=b+r^{\ast }$ 的解即为问题 $(1)$ 的解。

---

二、极小模剩余向量的性质及求法

依据文献²中的说明，我们得到如下定理：

定理： 设有 2 个超定线性方程组 $Ax=b,Bx=b$，若存在可逆阵 $P$，使 $B=AP$，则这 2 个超定线性方程组的极小 ${\ell }_1$ 模剩余向量相同。

设 $A=\left[\begin{array}{c}{A}_1\\ A_2\end{array}\right]$($A_1$ 为 $n$ 阶可逆阵)，则方程 $Ax=b$ 可以转变为式 $(2)$：

[ I A 2 A 1 − 1 ] A 1 x = b (2) \\b