压缩感知合集2（背景知识）信号稀疏表示的数学推导和解释理解

Posted 2021-08-08 呆呆象呆呆

【压缩感知合集1】（背景知识）香农奈奎斯特采样定理的数学推导和图解分析
【压缩感知合集2】（背景知识）信号稀疏表示的数学推导和解释理解
【压缩感知合集3】压缩感知的背景与意义
【压缩感知合集4】（背景知识）理想采样信号和随机采样信号两种采样信号的频谱分析，以及采样效果比较

信号稀疏表示（信号的稀疏性或可压缩性）

信号稀疏与可压缩的数学定义（以一维信号为例）

信号都可以用正交基向量进行线性表示，假设这些基向量都是规范化后的正交向量。（使用基向量进行线性表示的时候是否规范化只是影响表示的系数。）

一维信号向量$\mathbf{X}=[x_1,x_2,\cdots ,x_n]\in {\mathbb{R}}^{N\times 1}$，可以用正交基向量线性表示公式如下。
$$\mathbf{X}=\sum _{k=1}^N{\mathbf{\psi }}_k{y}_k=\mathbf{\Psi }\mathbf{Y}$$
公式中

${\mathbf{\psi }}_k$为$\mathbf{\Psi }$的第$k$个列向量${\mathbf{\psi }}_k\in {\mathbf{R}}^{N\times 1}$

$\mathbf{\Psi }$ 为基矩阵$\mathbf{\Psi }=[{\mathbf{\psi }}_1{\mathbf{\psi }}_2\cdots {\mathbf{\psi }}_n]\in {\mathbf{R}}^{N\times N}$

$\mathbf{Y}$为投影系数$\mathbf{Y}=[y_1,y_2,\cdots ,y_n]\in {\mathbf{R}}^{N\times 1}$

在前面数学模型不变的情况下，我在三篇文章中看到的不同定义方式（但是其实说明的都是同一个问题）：

• 若$\mathbf{Y}$中只有$K(K<<N)$个非零系数，也就相当于说可以仅仅被这$K$个基向量线性表示，则称$\mathbf{X}$在基矩阵$\mathbf{\Psi }$下是$K$稀疏的，信号可以被很少的大系数和很多小系数表示，则称信号是可压缩的。

• 若信号的变换系数经排序后按指数级衰减趋近于零， 则信号是可压缩的（ 亦称近似稀疏）。

• 假设信号为稀疏的，那么对于$\forall p,0<p<2,\exists R>0$满足以下条件

$$\Vert \mathbf{Y}{\Vert }_p\equiv {\left(\sum _{i=1}^N{\left|y_i\right|}^p\right)}^{1/p}⩽R$$

解释与理解

显然$\mathbf{X}$和$\mathbf{A}$是同一个信号的等价表示，其中$\mathbf{X}$可以理解为是在时域或者空间域的表示，$\mathbf{A}$是在域上的表示。

传统压缩思路中压缩信号就是采用这种正交变换的方式，其编码解码的策略为：编码首先构造正交基矩阵$\mathbf{\Psi }$，作变换$\mathbf{Y}={\mathbf{\Psi }}^T\mathbf{X}$，保留$\mathbf{Y}$中最重要的$K$个分量及其对应的位置。解码将$K$个分量放回到其对应的位置，并将其他位置填$0$，以此构造$\check{\mathbf{Y}}$，最后进行反变换$\check{\mathbf{X}}=\mathbf{\Psi }\check{\mathbf{Y}}$求得重构信号。