稀疏解的几何理解

Posted 2020-10-11 hjlweilong

稀疏解的几何理解

转载 2015-04-09 11:53:23

标签：稀疏解稀疏理论几何解释

       回顾信号与图像处理过程，我们可以发现很多媒体格式都是通过变换域的稀疏表示来完成的，这里包括我们所熟知的JPEG和他的继承者JPEG2000。这些标准都借助了变换编码来实现稀疏表示。但是对于sparsity的理解，网上贴出的最多的，看到的大多是这张图：

       一般都是看了Stanford 的ML，从正则化角度阐述的。讲的比较笼统。上午翻了Elad的SR材料，稍微整理下。

 

1、0范数

        首先我们观察下对于p范数当p趋近0时的变换：

?

       可以看出当p趋近于0的时候，曲线变成了一个indicator函数。当x=0时为0，其余值均为1，其总和即为非零数之和。0范数为我们理解sparsity提供了一个很好的例子，但在实际工作中并不是一个很好的工具。此时我们更多地是借助usual p-norms和weak p-norms，p属于(0,1]。也就包括上面提到的Stanford ML中的L1正则化。

 

2、稀疏的直接理解

        一般数学表达式：

         直接观察其图像，下面四幅分别为p=2，p=1.5，p=1，p=0.7。

       这里的绿色类球球为Ax=b中x的值域，Ax=b与其的切点即为方程组的解。直接观察可看书在p>1时，其解中至少包含两个非零元素，而当属于(0,1]的时候，方程组Ax=b的解中有且只有一个非零元素，即为稀疏解。

       简单地从表达式理解sparsity是很难的，很难说清楚。直接从图形理解，从我的角度，是最直接有效的方法。