稀疏表示和字典学习

Posted 2021-01-31 godzilla-w

1. 引言

　　近年来，随着芯片、传感器、存储器以及其他硬件设备的快速发展，很多领域都面临着数据量过大、处理时间过长的问题。传统的信号处理方式已经无法满足人们对大量数据处理的需求，简洁、高效、稀疏的信号表示方法是人们研究、关注的热点。稀疏表示和字典学习方法在解决数据量过大的问题上有独特的优势，稀疏表示和字典学习方法最早用于压缩感知中信号处理问题，现在越来越多的研究者把稀疏表示用在图像处理、目标识别、机器视觉、音频处理等领域中。将稀疏表示和字典学习方法应用到图像处理上，可以简单、高效地将图像中的噪声分离，实现图像品质的提升。

2. 稀疏表示理论

2.1 简介

　　稀疏表示本质上是一种信号表示方法，它从原始信号中尽可能少地选取基本信号，并将这些基本信号通过线性组合来表达大部分或全部的原始信号。通过稀疏表示可以获得信号更为简洁的表示方式，从而使我们更容易地获取信号中所蕴含的信息，更方便进一步对信号进行加工处理。

　　典型的稀疏表示过程可用图1.1形象的表示如下：

2.2 稀疏表示模型

　　一般的稀疏模型主要是在线性方程组的基础上进行构建的，通过线性方程求解得到的结果是确定的、合理的，线性方程在稀疏表示中具有重要作用。一般的稀疏信号是指在实数空间中，信号Y可以由长度有限的离散信号进行线性表示。一般稀疏表示中的线性方程为：

　　

　　式中信号，字典为一个内部原子相互正交的基矩阵，是信号Y在字典D的映射下的稀疏系数矩阵。如果n<m，则无法用字典D对信号Y进行线性表示；如果n=m，则有唯一的系数矩阵X使得字典D对信号Y进行线性表示；如果n>m，则存在无数种系数矩阵X使得字典D对信号Y进行线性表示。当n>m时，字典D是一个过完备字典矩阵，线性方程组是非正定的，可以得到无数个稀疏系数矩阵X，从中寻找最稀疏的矩阵X。系数矩阵X中的大部分元素值是零，只有很少一部分能够对信号特征进行表示的元素值是非零的。用稀疏度k表示稀疏系数矩阵X中非零元素的总个数，则信号的稀疏能力可用稀疏度k来体现：

　　式中p是范数的度量。在信号Y和字典D已知的情况下，构建稀疏模型对其进行求解，得到稀疏系数矩阵X，从而实现信号Y的稀疏表示，即稀疏度k确定的情况下，求上式的最优解。主要的范数求解模型有L0,L1,L2求解模型，不同的求解方式决定着信号Y稀疏程度的不同。有关范数求解模型就不在此赘述，具体可以参考机器学习中的范数规则化之（一）L0、L1与L2范数。

2.3 稀疏表示求解算法

　　稀疏表示求解算法的目的是对信号的优化求解，主要有松弛算法和贪婪算法两大类。

　　松弛算法是指通过具有凸特性的高阶范数如L1范数或者其他合适的具有稀疏性的度量对非凸的L0范数进行替换，实现将对NP问题的求解转化为凸优化问题的求解，从而简化运算方程，降低算法运算的复杂度。典型的松弛优化算法主要有基追踪算法(Basis Pursuit,BP)、交替投影算法(Alternate Projection,AP)、梯度投影算法(Gradient Projection for Sparse Reconstruction,GPSR)以及基于框架的算法(Method of Frame,MF)等。

　　贪婪算法是对稀疏模型进行迭代的算法，根据迭代前选择的参数标准进行不断地迭代计算，对局部的最优结果进行追踪，最终得到最优的稀疏表示结果。经典的贪婪算法主要有匹配追踪算法(Matching Pursuit,MP)、正交匹配追踪算法(Orthogonal Matching Pursuit,OMP)、稀疏自适应匹配追踪算法(Compressive Sampling Matching Pursuit,CoSaMP)等。

3. 稀疏表示应用

　　随着稀疏理论的发展，稀疏表示得以在诸多场景中应用，如雷达目标识别、视觉追踪等，这里举例稀疏表示在视觉追踪方面的应用。

　　视觉追踪是在图像序列中对特定目标的运动轨迹以及相对于周边环境位置信息进行确定。在复杂环境中进行目标追踪时易受到环境、外观相似目标的影响导致追踪失败，一般的目标追踪方法可以分为目标确定、环境区域确定、位置确定、模型更新等四个部分。稀疏表示方法用在视觉追踪中主要是通过贝叶斯结构体系求得目标的先验状态，然后对目标的下一状态的后验概率进行求解从而实现准确定位。在稀疏表示方法下的视觉追踪更容易获取目标的特征及位置信息，且能够在最少的数据情况下进行高精度的目标定位、追踪，能够达到实时追踪的要求。