压缩感知合集6压缩感知为什么可以恢复信号；为什么需要满足稀疏性条件RIP条件矩阵不相关等限制条件才可以恢复信号的逻辑分析

Posted 2023-01-11 呆呆象呆呆

0 压缩感知的理论依据前言

主要想讲清楚的问题是：

• 为什么压缩感知在随机采样的情况下可以对信号进行恢复？

其实这个问题也可以换一个方式理解：

• 在满足什么条件的情况下，信号可以通过压缩感知进行压缩并恢复？

注意与说明：

为了方便理解，在此篇内容中我们假设稀疏域是傅里叶变换，下面的图也都是用傅里叶频谱图画的，实际使用中只要找到符合要求的系数域即可。

1 要求1：稀疏

关于感兴趣的信号，压缩感知在压缩过程（也就是感知过程中）所表达的意思为：连续时间信号的信息率可能比根据其带宽所建议的小得多，离散时间信号所依赖的自由度的数量比它的长度少得多。可以说，许多自然界的信号在某种程度上都是稀疏的或可压缩的，当以合适的基$\mathbf{\Psi }$来表示时，信号可以有很多简练的表达式。

1.1 前情介绍

根据之前blog（【压缩感知合集2】（背景知识）信号稀疏表示的数学推导和解释理解）中介绍的内容

当信号在稀疏域可以获得一个稀疏表示：若信号在某个域中只有少量非零值，那么它在该域稀疏，该域也被称为信号的稀疏域。然而通常信号在变换域中不会呈现完全的稀疏性。其实只要它近似满足稀疏性，即大部分值趋于零，只有少量大的非零值，就可以认为它是可压缩信号，可以对它进行随机采样。稀疏表示过程如下：
$$\mathbf{X}=\mathbf{\Psi }\mathbf{Y}$$
对这个稀疏表示进行随机采样的过程就可以理解为如下图例形式（为什么是这个形式可以参考之前的内容【压缩感知合集4】理想采样信号和随机采样信号两种采样信号的频谱分析，以及采样效果比较）

1.2 稀疏性与恢复的关系画图分析

稀疏域上的随机采样

可以被恢复的信号压缩感知举例分析

由于原信号的频率非零值在随机采样后的频域中依然保留较大的值，其中较大的两个可以通过设置阈值，检测出来（图a）。然后，假设信号只存在这两个非零值（图b），则可以计算出由这两个非零值引起的干扰（图c）。用a减去c，即可得到仅由蓝色非零值和由它导致的干扰值(图d），再设置阈值即可检测出它，得到最终复原频域（图e）。如果原信号频域中有更多的非零值，则可通过迭代将其一一解出。

当以比奈奎斯特采样频率要求的采样密度更稀疏的密度对信号进行随机采样的时候，由于频谱是均匀泄露的，而不是整体延拓的，因此可以对稀疏的频谱通过特别的追踪方法将原信号恢复。（不稀疏就分不出来了）

1.3 稀疏性要求的逻辑分析

正因为在稀疏可以足够的稀疏（也可以理解为仅有少数个不同位置上的能量表示与常见值有较大的差异），才可能在之后的被采样后的稀疏域上，保留这种差异，从而最后通过恢复这些特殊点位能量表示。

假设如果$\mathbf{Y}$不稀疏，在某一个变换域$\mathbf{\Psi }$上很多表示系数$y_k$都不是0，都有着比较随机的能量分布，那么被如上图随机采样信号采样之后的结果，在这里我就不画图了，（【压缩感知合集4】理想采样信号和随机采样信号两种采样信号的频谱分析，以及采样效果比较）里面有比较清晰的解释），变换域$\mathbf{\Psi }$上面的每一个表示系数$y_k$都会在随机采样信号的作用下产生一个频谱泄露。因为随机采样信号的频谱入如上图中间的例子，一个主峰冲击在和稀疏域也就是频域卷积的时候不会出现频谱搬移，但是其他地方的小毛刺会带来一定量比较随机的频谱泄露。

如果变换域表示下不稀疏的点足够多的话，主峰对每一个有能量的$y_k$，进行频谱泄露，这样原始变换域表示下的高峰值就会被淹没在过多的其他$y_k$系数的频谱泄露中，难以被定位识别恢复出来。

1.4 注意补充

• 对于之前讲的例子，如果它在频域中不稀疏，我们可以做DWT、DCT等，找到它的稀疏变换。
• 这里针对信号的稀疏性和信号压缩额外补充一下：其实，信号的稀疏性已经在图像压缩领域有了很广泛的应用。利用信号的稀疏性，可以对信号进行压缩。如图像压缩领域的JPEG格式，就是将图像变换到离散余弦域，得到近似稀疏矩阵，只保留较大的值，从而实现压缩。这里需要指出，图像压缩和压缩感知这两个概念很容易弄混，大家一定要分清。它们其实有着本质上的区别。图像压缩是先进行了全采样，然后再变换域丢弃小系数，完成压缩；而压缩感知不同，它的思想其实从图像压缩中借鉴了很多：既然全采样了还要再丢弃，我们为什么不能直接少采样一些点？因此，压缩感知直接进行了亚采样，然后再用算法消除亚采样导致的伪影。可以说，压缩感知直接在采样时就完成了压缩。

2 要求2：RIP条件和矩阵不相关：

2.1 前情介绍

理解这个不相关要求需要回顾一下之前的数学模型（【压缩感知合集5】压缩感知简介和数学模型分析）

压缩感知数学模型重新写一遍如下
$$\mathbf{A}=\mathbf{\Phi }\mathbf{X}=\mathbf{\Phi }\mathbf{\Psi }\mathbf{Y}=\mathbf{\Theta }\mathbf{Y}$$

$\mathbf{\Theta }$即为感知过程的核心命名为感知矩阵

在压缩信号获取后我们需要求解原始信号，数学表达如下
$$\check{\mathbf{X}}=f(\mathbf{A},\mathbf{\Theta })$$
注意

若$N=M$，则可轻松由$\mathbf{A}$解出$\mathbf{X}$和$\mathbf{Y}$，因为是正定方程有唯一解。

而$M<<N$，属于欠定方程，在正常情况下，方程的个数远小于未知数的个数，方程是没有确定解的，无法重构信号。

2.2 RIP条件

RIP条件：有限等距性质（Restricted Isometry Property，RIP）（关于RIP我后面会再写一篇blog，再详细讲一下这个内容，这里主要先把条件逻辑和压缩感知理解清楚）

针对于2.1中的$\check{\mathbf{X}}=f(\mathbf{A},\mathbf{\Theta })$，虽然属于欠定方程，但是，由于信号在稀疏域$\mathbf{\Psi }$上是K稀疏，如果上式中的观测矩阵$\mathbf{\Phi }$满足有限等距性质，则稀疏域上较少的非零系数就能够从$M$个测量值准确重构（得到一个最优解）。
$$\begin{gathered} \min {\Vert {\mathbf{\Psi }}^T\mathbf{X}\Vert }_0 \\ s.t.\mathbf{\Theta }\mathbf{X}=\mathbf{\Phi }\mathbf{\Psi }\mathbf{X}=\mathbf{A} \end{gathered}$$

RIP条件的数学表达：

定义$\mathbf{Y}$为$K$稀疏，若存在满足下面不等式的${\delta }_k$，
$$\left(1-{\delta }_k\right)\Vert \mathbf{Y}{\Vert }_2^2\le \Vert \mathbf{\Phi }\mathbf{Y}{\Vert }_2^2\le \left(1+{\delta }_k\right)\Vert \mathbf{Y}{\Vert }_2^2$$
${\delta }_k<1$，则测量矩阵$\mathbf{\Phi }$满足$K$阶RIP条件

RIP条件的英文表达：

2.3 矩阵不相关（RIP的等价条件）

陶大神和Candès大神证明了RIP才是观测矩阵要满足的准确要求。但是，要确认一个矩阵是否满足RIP非常复杂。于是Baraniuk证明：RIP的等价条件是观测矩阵$\mathbf{\Phi }$和稀疏表示基$\mathbf{\Psi }$不相关（incoherent）。

矩阵不相关的数学表示

$$\mathbf{A}=\mathbf{\Phi }\mathbf{X}=\mathbf{\Phi }\mathbf{\Psi }\mathbf{Y}$$

要求
$$\mathbf{\Phi }\stackrel{\text{ 不相关 }}{⟷}\mathbf{\Psi }$$
相关性的定义：
$$\mu (\mathbf{\Phi },\mathbf{\Psi })=\sqrt{n}\cdot \underset{1\le k,j\le n}{\max }\left|⟨{\mathbf{\varphi }}_k,{\mathbf{\psi }}_j⟩\right|$$
$\mu$的范围 : $\mu (\mathbf{\Phi },\mathbf{\Psi })\in [1,\sqrt{n}]$
$\mu$越小， $\mathbf{\Phi }$和$\mathbf{\Psi }$越不相关

2.4 在此基础上我们来逻辑分析一下这个要求：

（RIP条件和其等价条件矩阵不相关）这个两个等价性质上的要求主要限制具体反应在：

即在变换域$\mathbf{\Psi }$上可以被稀疏表示的信号一定可以在其所需要的域中展开。（举例如果在频域上稀疏，只有满足本节的RIP条件，才能保证可以完整的被恢复到时域）

稀疏性在一定程度上保证了我们可以通过追踪方法将稀疏域表示$\mathbf{Y}$恢复出来，但是想要再实现原信号恢复的恢复，（这里咱们通俗一些说：需要保证在采样过程中稀疏表示不被破坏或者干扰）就需要满足这个条件

另一方面：$\mu$越小，测量矩阵$\mathbf{\Phi }$和变换基$\mathbf{\Psi }$是越是不相关，经过两个矩阵变换之后的方向越离散，测量所需要的数目也越少，即为越小维度的采样信息$<$

以上是关于压缩感知合集6压缩感知为什么可以恢复信号；为什么需要满足稀疏性条件RIP条件矩阵不相关等限制条件才可以恢复信号的逻辑分析的主要内容，如果未能解决你的问题，请参考以下文章

压缩感知合集3压缩感知的背景与意义

压缩感知合集2（背景知识）信号稀疏表示的数学推导和解释理解

压缩感知合集4理想采样信号和随机采样信号两种采样信号的频谱分析，以及采样效果比较

压缩感知合集1（背景知识）香农奈奎斯特采样定理的数学推导和图解分析

压缩感知合集7压缩感知RIP有限等距性：定义解析，理解说明，数学原理推导

压缩感知合集9压缩感知的OMP算法（算法步骤分析举例分析说明总结和缺陷）