JPEG压缩图像超分辨率重建算法

Posted 2020-06-14

                                    压缩图像超分辨率重建算法学习

       超分辨率重建是由一幅或多幅的低分辨率图像重构高分辨率图像，如由4幅1m分辨率的遥感图像重构分辨率0.25m分辨率图像。在军用/民用上都有非常大应用。

眼下的超分辨率重建方法主要分为3类：基于插值、基于学习、基于重建的方法。现在已经研究得比較多。可是大多数算法都是对普通图像进行研究，针对压缩图像/视频超分辨率重建的研究比較少。近期查阅部分文献。进行了学习。在此做些总结。

       相关的文献：

        1、Super-resolution from compressed video

        2、Bayesian Resolution Enhancement of Compressed Video

        3、RobustWeb Image/Video Super-Resolution

        4、Self-Learning-Based Single Image Super-Resolution 

             of a Highly Compressed Image

        算法原理：

         文献1/2：文献1/2是同一人写的，该作者就该问题发表了多篇文章，方法基本类似。其思路与常规的基于重建的超分辨率方法类似，都是建立观測模型。依据数据保真项和正则化项建立重建代价函数。不同的是，数据保真项有些变化，由于要考虑压缩图像特有的量化噪声及取整噪声等，而不是通常如果的高斯噪声。此外正则化项也有所不同。须要考虑JPEG图像的块效应等，因此除了常规的约束，要对块边界的高频进行限制。详细内容參看文献。

          文献3：这篇文献相对要新点，是2010年的。文章的思路非常好理解，先对JPEG压缩图像去块效应，然后超分辨率。在去块效应阶段，作者使用的是自适应PDE正则化方法，同一时候提出一种自适应确定正则化强度的方法。而在重建阶段。则是採用的基于例子的方法，这种方法相对照较成熟。

事实上这样的两步处理方式并不合理，是不提倡这样处理的，而应该将其放到一起考虑，如文献1/2那样。

           文献4：这篇文献採用了稀疏字典的相关方法。对于待重建的图像。首先进行下採样。并将原始图像和下採样图像都用BM3D处理提取低频，相减后得到原始图像和下採用图像的高频（作者觉得块效应仅仅存在于高频分量之中，分别获取原始图像和下採样图像的高频是为了训练字典，而且是自训练字典）。

检測出高频之后。作者提出将高频分为有块效应块/无块效应块。分别建立字典D1/D2。而对于有块效应字典D1。作者将其原子聚类，觉得1部分原子是对块效应做贡献的，还有一部分原子则不含块效应，那么对于输入的块，我就仅仅採用不含块效应的原子重建，达到去块效应的目的。

            事实上这样的去块效应的方法。作者写了还有一篇文章，EFFICIENT IMAGE/VIDEO DEBLOCKING VIA SPARSE REPRESENTATION，大家能够看一看。看了之后就更好理解这篇关于压缩图像超分辨率的文章，无非就是字典构建的问题。

           临时就这么多，写得不好，各位看官将就看，有问题能够再讨论哦！

！！！

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

            研究方向：图像压缩、超分辨率、图像去噪、图像复原等图像质量提升技术