什么是稀疏表示？

Posted 2020-11-04 qwangxiao

简介

 

 

    数学变换会追求所谓稀疏表示(sparse representation），即如何通过最小数量的系数尽可能更多的描述信号的能量。不同类型的信号，其在不同变换下系数的分布会不同。

 

    信号稀疏表示的目的就是在给定的超完备字典中用尽可能少的原子来表示信号，可以获得信号更为简洁的表示方式，从而使我们更容易地获取信号中所蕴含的信息，更方便进一步对信号进行加工处理，如压缩、编码等。信号稀疏表示方向的研究热点主要集中在稀疏分解算法、超完备原子字典、和稀疏表示的应用等方面。

 

    在稀疏表示理论未提出前，正交字典和双正交字典因为其数学模型简单而被广泛的应用，然而他们有一个明显的缺点就是自适应能力差，不能灵活全面地表示信号，1993年，Mallat基于小波分析提出了信号可以用一个超完备字典进行表示，从而开启了稀疏表示的先河，经研究发现，信号经稀疏表示后，越稀疏则信号重建后的精度就越高，而且稀疏表示可以根据信号的自身特点自适应的选择合适的超完备字典。对信号稀疏表示的目的就是寻找一个自适应字典使得信号的表达最稀疏。

 

    稀疏分解算法首先是由Mallat提出的，也就是众所周知的匹配追踪算法（Matching Pursuit,MP）算法，该算法是一个迭代算法，简单且易于实现，因此得到了广泛的应用。随后，Pati等人基于MP算法，提出了正交匹配追踪算法（Orthogonal Matching Pursuit,OMP），OMP算法相较于MP算法，收敛速度更快。在以后的研究中，为了改进OMP算法，学者也提出了各种不同的其它算法，例如：压缩采样匹配追踪（Conpressive Sampling Matching Pursuit,CoSaMP）算法、正则化正交匹配追踪（Regularized Orthogonal Matching Pursuit,ROMP）算法、分段式正交匹配追踪（Stagewise OMP,StOMP）算法、子空间追踪（Subspace Pursuit,SP）算法等等。

 

    信号稀疏表示的两大主要任务就是字典的生成和信号的稀疏分解，对于字典的选择，一般有分析字典和学习字典两大类。常用的分析字典有小波字典、超完备DCT字典和曲波字典等，用分析字典进行信号的稀疏表示时，虽然简单易实现，但信号的表达形式单一且不具备自适应性；反之，学习字典的自适应能力强，能够更好的适应不同的图像数据，在目前的研究中，常用的学习字典的方法包括：Engan于1999年提出的最优方向（Method Of Optimal Directions,MOD）算法，该算法是学习字典的鼻祖，它的字典更新方式简单，但与此同时，它的收敛速度很慢，在该算法的基础上，一些研究人员同时还提出了一些其它的字典学习算法，如FOCUSS字典学习算法，广义PCA（Generalized PCA）算法等等，Micheal Elad也于2006年提出了基于超完备字典稀疏分解的K-SVD算法，该算法相较于MOD算法，收敛速度有了很大的提高，但是随着噪声的逐渐加大，使用该算法进行去噪后的图像因纹理细节的丢失会产生模糊的效果。Mairal于2010年提出了一种online字典学习算法，该算法速度较快且适用于一些特殊的信号处理，例如视频信号，语音信号等等 。

 

信号稀疏表示

 

稀疏表示模型

 

    现有稀疏表示模型一般形式如下：

 

X=argmin||y-Dx||k+λ||x||

 

    其中，y 为观测数据， D 为字典， x 为待估稀疏向量， λ 为正则参数， k （1≤ k<2 ）为稀疏度量。其中，λ 与 k 未知， 需要预先确定（ 虽然通常取 k =1 ， 但 k <1 时模型更加灵活）。对该模型的理论研究， 主要包括模型解与 l0 范数最小化解的逼近程度、 稀疏表示模型解的唯一性与稳定性等。但是， 在一些具体的应用如图像增强与测控资源优化配置中， 稀疏度量并不是唯一且最重要的指标。

模型求解算法

 

    上述模型的求解划分为基于数学模型的求解算法， 如基追踪、 F O C U S S 、S h r i n k a g e 等， 以及不考虑数学模型的求解算法， 如匹配追踪算法族等。但现有的算法多存在一个待解决问题， 即需预先确定正则参数 λ 与表征稀疏度的参数 k ， 然后进行求解。若解未达到要求， 则重新调整两个参数的值， 直至得到满意解。这使得模型在应用中不能达到自动化的程度，限制了稀疏表示方法的应用。

字典学习算法

 

    最初在稀疏表示研究领域， 一般假定字典已知， 仅求解未知稀疏向量。现已有学者研究字典的选择与学习方法用于字典未知的情况。现有的字典学习方法可分为两种类型： 基于训练样本与基于参数化字典 。其中， 后者较为困难， 需深入分析所研究的信号的特点与描述方法。对字典学习的过程一般采用两步法， 与稀疏表示模型求解相结合。

信号稀疏表示应用

 

    目前，稀疏表示的应用范围基本为自然信号形成的图像、音频以及文本等， 对于非自然信号或数据的应用尚未有文献涉及。在应用方面， 可大体划分为两类：
基于重构的应用
　　此类应 用 有 图 像 去 噪、 压 缩 与 超 分 辨 、S A R 成像 、 缺失图像重构 以及音频修复 等。这些应用主要将目标的特征用若干参数来表示， 这些特征构成稀疏向量， 利用稀疏表示方法得到稀疏向量， 根据数学模型进行数据或图像重构。在这些应用中， 观测数据一般含有噪声。

 

基于分类的应用

 

    这类应用的本质是模式识别 ， 将表征对象主要的或本质的特征构造稀疏向量， 这些特征具有类间的强区分性。利用稀疏表示方法得到这些特征的值， 并根据稀疏向量与某类标准值的距离， 或稀疏向量间的距离判别完成模式识别或分类过程， 例如盲源分离、 音乐表示与分类、 人脸识别 、文本检测。

 

稀疏表示方法局限与待解决问题

 

 

    信号稀疏表示虽然得到广泛研究， 但尚存在很多问题需要继续深入挖掘。主要包括：

 

    1. 构造更为灵活的稀疏表示模型在现有稀疏表示模型中， 存在一个目标函数与约束函数其中， 目标函数一般为在假定观测信号具有线性模型形式以及含有高斯白噪声情况下使得噪声的能量最小； 约束函数一般指稀疏约束项。这种目标函数一方面将稀疏分量同等对待； 另一方面忽视了不同应用中还有其它目标的存在， 因为如果单单从表示的角度来看， 并不一定要求最稀疏的解是唯一的或最稀疏的解并不是最理想的。例如， 在图像重构的过程中， 仅仅考虑稀疏解， 得到的最稀疏解有可能会造成丢失目标的现象发生。因此， 需要构造多目标以及变正则参数的稀疏表示模型， 以满足更多应用问题的特点与需要。

 

    2. 确定模型超参数的取值在上述稀疏表示模型中， 主要待估参数为稀疏向量 x，但模型中还存在两个超参数： 正则参数 λ 以及表征稀疏程度的参数 k 。在现有文献中， 大多利用人工预先确定的方法来对两个超参数赋值。确定其值后， 进行求解， 然后将求解结果与目标需求进行比较。如果不满足要求， 再调整参数。这必然造成了求解过程的非适应性或非自动化， 也限制了稀疏表示方法在一些自动化程度要求较高的领域的应用。为此需研究稀疏表示模型的自适应求解问题， 构造超参数与观测信号和稀疏向量之间的函数关系。

 

    3. 降低稀疏表示模型求解的不确定性信号稀疏表示理论研究的最终目的是将其应用于各领域， 但现有的模型在实际应用中存在处理性能的不确定性问题： 一方面， 模型中的目标与实际问题处理目标没有形成闭合环； 另一方面， 稀疏表示模型求解通常从抽象的数学角度进行设计， 一般需要借助于迭代优化方法， 迭代过程一般以相邻两次估计值的l2范数满足一定要求作为收敛准则， 这意味着收敛准则并没有与应用问题的需求联系起来， 造成了处理性能的不确定性。例如， 在图像去噪或高分辨率重构处理中， 在求解稀疏表示模型后， 需要利用人眼视觉主观观察以及其它若干客观定量指标来评估处理性能， 而这些评估指标在稀疏表示模型中并未得到体现。

 

应用

 

 

    稀疏表示研究的热点包括模型的近似表示、模型解的唯一性与稳定性、稀 疏 表 示 的 性 能 分 析、模 型 求 解 算法 、字典学习算法、稀疏分解算法、超完备原子字典、 稀疏表示的具体应用以及紧密联系的压缩传感 等方面。其中，具体的应用包括： 图像处理（ 如压缩、 增强与超分辨） 、音频处理（ 如盲源分离） 与模式识别（ 如人脸与手势识别） 等。从实用角度看，具有针对性的灵活模型、 计算速度、 自适应以及高性能表示结果是稀疏表示方法在应用领域发挥其优势的关键问题。以下是稀疏表示在图像处理领域的应用的几个方面：

图像去噪

    传统的去噪方法往往假设含噪图像的有用信息处在低频区域，而噪声信息处在高频区域，从而基于中值滤波、Wiener 滤波、小波变换等方法实现图像去噪，而实际上这种假设并不总是成立的。基于图像的稀疏表示，近几年来研究者们提出了基于过完备字典稀疏表示的图像去噪模型，其基本原理是将图像的稀疏表示作为有用信息，将逼近残差视为噪声。利用 K-SVD 算法求得基于稀疏和冗余的训练字典，同时针对 K-SVD 算法仅适合处理小规模数据的局限，通过定义全局最优来强制图像局部块的稀疏性。文献[28]提出了稀疏性正则化的图像泊松去噪算法，该算法采用 log 的泊松似然函数作为保真项，用图像在冗余字典下稀疏性约束作为正则项，从而取得更好的去噪效果。

人脸识别

    近年来，稀疏表示广泛应用于人脸识别，并取得了很好的识别效果。Wright 等人认为：①同类样本处于同一个线性子空间，任一测试样本均可以用来自于该类的训练样本进行线性表示；②用所有的训练样本构成字典，则测试样本在该字典上的表示是稀疏的，同时该稀疏系数包含了样本的类别信息。基于此，Wright 等提出了基于稀疏表示的人脸识别框架，即首先基于人脸库构造过完备字典，然后计算待测图像在该字典上的稀疏系数，再根据重构误差判别图像身份。该算法对特征选择不敏感，有很强的抗噪声能力，并且具有较好的遮挡处理功能，从而在人脸识别领域得到了广泛关注。提出加权稀疏编码算法，该方法在解决人脸遮挡、光照、表情等方面取得了较好的效果。为了解决小维度，小样本的人脸识别问题，提出了基于稀疏表示和奇异值分解的人脸识别算法，实验表明该方法在 ORL 人脸库上取得了较好的效果。

目标跟踪

    近年来，稀疏表示在目标跟踪领域也得到的广泛应用。针对红外图像序列中目标与背景对比度低、灰度特征易受噪声影响等问题，提出了一种基于稀疏表示模型的红外目标跟踪算法。提出了一个新的基于稀疏表示的目标跟踪方法，通过L1 范数最小化求解，实验结果表明，该方法比现有的基于 L1 范数最小化的跟踪方法性能更稳定、计算效率更高。为了有效解决跟踪过程中的目标遮挡问题，提出了一种基于局部稀疏表示模型的跟踪方法。实验结果表明，该方法比各种流行跟踪方法稳定可靠且具有良好的抗遮挡性，并对海上红外目标跟踪取得良好效果。

    图像修复随着稀疏表示研究的深入，稀疏表示在图像修复领域也得到了广泛应用。为了确保修复时填充洞和周围之间的视觉合理性与一致性，Shen 等人提出直接在待处理图像完整区域采样，构造冗余字典，然后通过依次计算洞边界不完整的块的稀疏表示进行恢复。该算法在处理大洞和保留图像细节方面具有较好的能力。针对现有图像修复方法中待填充块在全局搜索与之最匹配块的计算复杂度高、结构连贯性和纹理清晰性不佳的缺点，文献[36]提出了基于块结构稀疏度的自适应图像修复算法。针对图像结构信息缺损较大的图像，提出利用结构约束和样本稀疏表示实现图像修复，该方法既能较好的修复图像边缘结构，又能保持结构的整体平滑性。

压缩感知

 

    为了有效重构原信号，传统方式下需要基于奈奎斯特采样定理实现对信号的采样。近年来，随着稀疏表示的兴起为重构原信号提出了一种新的理论-压缩感知。

    压缩感知理论突破了奈奎斯特采样频率的下限，它以信号的稀疏性（或可压缩性）作为前提，将传统方式下对信号的采样和压缩两个过程融为一个过程，直接获取稀疏信号，然后用一个与变换矩阵无关的观测矩阵对变换系数向量进行变换，最后通过求解一个优化问题重构原信号。目前，国内外研究人员在该领域进行了深入研究，并提出了有效的压缩感知理论与方法。

1. https://www.taohuayuan178.com .io/blog/2018/04/17/why-is-the-kernel-community-replacing-iptables

2. https://www.thd178.com/ .io/blog/2018/04/24/cilium-security-for-age-of-microservices

3. http://docs.cilium.io/en/doc-1.0/intro/#functionality-overview

4. https://cilium.io/blog/2018/04/17/why-is-the-kernel-community-replacing-iptables#bpf

5. http://docs.cilium.io/en/doc-1.0/bpf/

6. https://cilium.io/blog/2018/04/24/cilium-security-for-age-of-microservices

7. https://github.com/spiffe/spiffe

8. https://www.feifanyule.cn .com/kubernetes/community/tree/master/wg-container-identity

9. http://www.wanmeiyuele.cn .cilium.io/en/doc-1.0/gettingstarted/minikube/

10. http://www.vboyule.cn  .cilium.io/en/doc-1.0/gettingstarted/

11. http://www.xuancayule.com/ cilium.io/en/doc-1.0/kubernetes/quickinstall/

12. http://www.douniuyuLept.com .cilium.io/en/doc-1.0/install/guides/#

13. https://www.hjha178.com/ .com/cilium/cilium/issues/3585

 

^附加：

在进行模拟/数字信号的转换过程中，当采样频率fs.max大于信号中最高频率fmax的2倍时(fs.max>2fmax)，采样之后的数字信号完整地保留了原始信号中的信息，一般实际应用中保证采样频率为信号最高频率的5～10倍；采样定理又称奈奎斯特定理。采样定理是美国电信工程师H.奈奎斯特在1928年提出的，采样定理说明采样频率与信号频谱之间的关系，是连续信号离散化的基本依据。